분류 전체보기13 [논문리뷰] ZeroQ: A Novel Zero Shot Quantization Framework Zero Shot Quantization 기법 중 하나인 ZeroQ를 설명해보려고 한다. BackgroundQuantization 양자화란 인공 신경망 모델의 정밀도를 낮추어 모델 크기 감소와 연산 효율을 꾀하는 것이다.예를 들면 FP32로 저장된 weight을 int8의 정밀도로 바꾸면 32비트가 필요했던 정보가 8비트만 필요하게 된다. 단 정보량이 무조건 줄어들 수밖에 없기 때문에 accuracy 등과의 트레이드오프는 불가피하다.그렇지만 인공 신경망 모델은 대체로 overparameterize 되어있다고 알려져 있기 때문에 양자화를 해도 그 손실이 크지 않다. 양자화 기법 중에서도 크게 두 가지로 나눠볼 수 있는데Post-Training-Quantization(PTQ)와 Quantization-Awa.. 2024. 12. 24. QPU 양자 컴퓨터 - Intro (2) [스크랩] IBM에서 정의하는 양자 연산의 basic building block은 "the” qubit 큐비트이다. 이 큐비트는 superconducting components 초전도체 요소로 만든다. 큐비트 정보는 외부와의 상호작용으로 쉽게 손상될 수 있기 때문에 전기저항이 0인 초전도체로 만든다. Josephson junction 조셉슨 접합 각각의 물리적인 큐비트는 두 초전도체 판으로 이루어져 있는데 이건 캐패시터 역할을 한다. 두 초전도체 판 사이에 얇은 절연체를 끼우는데 이 구조를 Josephson junction 조셉슨 접합이라 한다. 이 접합은 손실 없는 비선형 인덕터 역할을 한다. - 손실 없다 - 초전도체 특징. 저항이 0이기 때문에 전기가 에너지 손실 없이 흐를 수 있다.- 비선형 인덕터 - 전.. 2024. 12. 19. Quantization Basics (1) - Uniform vs Non-uniform, Symmetric vs Asymmetric 요약Quantization: 연속적인 데이터를 이산적인 값으로 표현하는 것.Uniform vs Non-uniform: 균등한 구간으로 매핑 vs 비균등한 구간에 매핑Symmetric vs Asymmetric: 0을 기준으로 대칭인 범위 vs 0을 기준으로 비대칭한 범위 Quantization이란?Quantization 양자화란 대체로 연속적인, 큰 집합에 속하는 입력 값을 대체로 이산적인, 작은 집합에 속하는 출력 값으로 매핑하는 방법이다.무슨 말인가 하면 위 그림 같은 간단한 계단 함수를 살펴보자.x축 위의 실수값들이 y축의 정수값들에 매핑되었다. 수를 표현하기 위한 정보량이 줄어들었다.이렇듯 Rounding 반올림과 Truncation 버림이 양자화의 대표적인 예시이다. 뉴럴 네트워크의 양자화는 .. 2024. 12. 18. QPU 양자 컴퓨터 - Intro [스크랩] 양자컴퓨팅이 핫하다.Quantum Processing Unit (QPU)에 대해서 알아보기 앞서 양자에 대한 기본적인 내용을 알아보자. Qubit과 중첩 고전(디지털) 컴퓨터는 0과 1의 이진값을 사용한다.이 값들은 심플한 로직 게이트들, AND, OR, NOT, and NAND 등으로 연산할 수 있다. 고전 컴퓨터의 state 상태는 비트들의 모든 상태 조합로 결정된다.NNN bits가 있으면 컴퓨터는 2N2^N2N 상태를 가진다.퀀텀 컴퓨터는 양자 비트 즉 큐비트 qubits를 사용한다. 이 큐비트는 superposition 중첩이라는 성질로 0, 1 또는 0, 1의 (무수한) 선형 조합을 나타낼 수 있다.디지털 컴퓨터가 2N2^N2N 중 하나의 상태에 놓일 때 퀀텀 컴퓨터는 연산 중 동시에 여러 상태에 놓.. 2024. 12. 17. Background of Neural Network (1) AI 인공지능이란 무엇인가?- AI, 머신 러닝 등의 용어들의 의미와 유래를 정확히 알아보자.- 뉴런과 그 메커니즘을 알아보자.위의 다이어그램의 바깥부터 살펴보자.AI 안에 머신러닝이 정의되고 그 안에서도 뇌를 어떻게 착안했냐에 따라 스파이킹 뉴런, 일반적인 뉴럴 네트워크(인공 신경망)로 나눌 수 있다. 먼저 AI는 인간처럼 목표를 달성할 수 있는 능력을 가진 "똑똑한" intelligent한 기계를 만드는 공학, 과학 분야를 말한다. 1950년대에 John McCarthy 존 매카시라는 컴퓨터 과학자가 처음 정의했다. Machine Learning 머신 러닝은 명시적으로 프로그램하지 않은 상태에서 컴퓨터가 배울 수 있도록 하는 학문 분야를 말한다. 즉 어떤 한 프로그램이 생성되면 프로그래밍적 지시없이 .. 2024. 12. 17. [데이터통신] HTTP request POST 실습 - 411 Length Required 문제: response의 411 status code여기서 LENGTH REQUIRED는 Content-Length 미입력을 말하는데Content-Length 값이 잘못 입력된 줄 알아서 계속 고쳐봤는데 해결이 안됐다.파이썬 triple quote가 interpret되는 과정에서 new line에 해당하는 개행 문자를 추가해서 문제가 생겼었었다.print(message.encode())로 확인해보니 \n 이 추가돼 있었다. 해결: 단일 따옴표 string으로 바꿔줌.response 메세지가 정상적으로 왔다. 411 error 코드from socket import *serverName = '0.00.00.000' //임의로 넣은 IP 주소serverPort = 00000 //임의로 넣은 port #.. 2024. 10. 13. 이전 1 2 3 다음
