전체 글13 [ML] 모델 경량화 방법 3가지: Pruning, Weight Quantization, Low-Rank Matrix/Tensor Decomposition from "Deep neural networks compression: A comparative survey and choice recommendations" IntroDNN은 하드웨어와 대규모 데이터셋의 발전으로 image processing, financial forecasting 등의 문제를 이전보다 잘 해결하고 있다.특히 CNN이 중요한 역할을 했는데 모델들은 보통 overparameterized 하고 상당한 메모리를 차지한다.예를 들어 VGG16는 500MB, T5는 11 B 개의 총 20GB 메모리를 차지하는 파라미터를 가진다.따라서 space-conscious models들의 필요성이 강조되고 있다. 지난 10년 동안 다양한 모델 압축 방법들이 제안되었지만, 대부분은 특정 응용이나 모델.. 2024. 7. 28. 이전 1 2 3 다음
