전체 글11 [논문리뷰] Your ViT is Secretly an Image Segmentation Model (EoMT) CVPR 2025 highlight 2025. 7. 16. [논문리뷰] PTQ4SAM - 양자화가 적용된 first SAM 수많은 파라미터를 가지고 있는 인공지능 모델에서 compression 압축하는 기법은 매우 중요하다. Model Compression 기법에는 Pruning 가지치기, Quantization 양자화, Knowledge Distillation 지식 증류 등이 있다. https://suhyeonlee.tistory.com/2 [ML] 모델 경량화 방법 3가지: Pruning, Weight Quantization, Low-Rank Matrix/Tensor Decompositionfrom "Deep neural networks compression: A comparative survey and choice recommendations" IntroDNN은 하드웨어와 대규모 데이터셋의 발전으로 image proce.. 2025. 5. 30. [논문리뷰] EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM Abstract오리지널 SAM보다 MobileSAM, EfficientSAM 보다 나은 EdgeSAM 제시 key idea 1)새로운 knowledge distill 기법(prompts in the loop)을 적용해 ViT-based SAM image encoder를 CNN-based 구조로 distill.distill 과정에 prompt encoder와 mask decoder 포함.prompts in the loop - input에 따른 mask 생성을 더 잘 제공.key idea 2)encoder에 탈부착 가능한 lightweight module 제공point prompt distill의 dataset bias 문제를 완화하기 위함.Result오리지널 SAM보다 37배 더 빠르다.edge devic.. 2025. 2. 5. Transformer(1) - Intro, Token Transformer를 제대로 알고 있는가? 를 답하고 싶어 쓰기 시작한 글이다.처음 논문 리딩을 시작할 때 Attention is All You Need 논문이 어려워 당황했던 경험을 생각하며 써본다. 대단한 숫자인 인용 수 148,074회의 "Attention is All You Need" 2017 논문을 중심으로 완전 파악해보자. Transformer의 목적은?논문의 Abstract."Transformer는 sequence transduction model의 기존 토대가 되는 recurrent(RNN)이나 convolutional neural network(CNN)를 사용하지 않는 새로운 네트워크 구조이다." sequence transduction은 시퀀스를 input하고 시퀀스를 output한다.. 2025. 1. 23. [논문리뷰] ZeroQ: A Novel Zero Shot Quantization Framework Zero Shot Quantization 기법 중 하나인 ZeroQ를 설명해보려고 한다. BackgroundQuantization 양자화란 인공 신경망 모델의 정밀도를 낮추어 모델 크기 감소와 연산 효율을 꾀하는 것이다.예를 들면 FP32로 저장된 weight을 int8의 정밀도로 바꾸면 32비트가 필요했던 정보가 8비트만 필요하게 된다. 단 정보량이 무조건 줄어들 수밖에 없기 때문에 accuracy 등과의 트레이드오프는 불가피하다.그렇지만 인공 신경망 모델은 대체로 overparameterize 되어있다고 알려져 있기 때문에 양자화를 해도 그 손실이 크지 않다. 양자화 기법 중에서도 크게 두 가지로 나눠볼 수 있는데Post-Training-Quantization(PTQ)와 Quantization-Awa.. 2024. 12. 24. QPU 양자 컴퓨터 - Intro (2) [스크랩] IBM에서 정의하는 양자 연산의 basic building block은 "the” qubit 큐비트이다. 이 큐비트는 superconducting components 초전도체 요소로 만든다. 큐비트 정보는 외부와의 상호작용으로 쉽게 손상될 수 있기 때문에 전기저항이 0인 초전도체로 만든다. Josephson junction 조셉슨 접합 각각의 물리적인 큐비트는 두 초전도체 판으로 이루어져 있는데 이건 캐패시터 역할을 한다. 두 초전도체 판 사이에 얇은 절연체를 끼우는데 이 구조를 Josephson junction 조셉슨 접합이라 한다. 이 접합은 손실 없는 비선형 인덕터 역할을 한다. - 손실 없다 - 초전도체 특징. 저항이 0이기 때문에 전기가 에너지 손실 없이 흐를 수 있다.- 비선형 인덕터 - 전.. 2024. 12. 19. 이전 1 2 다음
