양자화(Quantization)는 인공지능(AI)과 신호 처리에서 데이터를 더 작은 표현으로 변환하는 과정이다. 특히 AI 모델에서는 모델의 가중치와 활성화 값을 더 적은 비트(bit)로 변환하여 모델의 크기를 줄이고 계산량을 감소시키는 데 사용된다.
예: 32비트(실수) → 8비트(정수)
양자화는 연속적인 데이터를 이산적인 값으로 변환하는 과정이다. AI 모델에서 양자화를 사용하면 모델의 정확성을 유지하면서도 계산 성능을 최적화할 수 있다.
양자(Quantum)는 물리학에서 유래한 개념으로, '최소 단위의 양'을 의미한다. 에너지나 물질의 가장 작은 단위를 나타내며, 연속적인 값이 아니라 불연속적인 값을 갖는다.
예: 자연수(1, 2, 3…)는 연속적이지 않지만, 실수(1.1, 1.01, 1.001…)는 무한히 많은 값이 연속적으로 존재한다.
부동소수점(Floating Point)은 소수점의 위치가 고정되지 않고 움직이는 숫자 표현 방식이다. 컴퓨터는 이진법을 사용하기 때문에 0과 1만 처리할 수 있으며, 소수를 표현하기 위해 특별한 표기법이 필요하다.
32비트 부동소수점(FP32)은 다음과 같이 구성된다.
32비트 부동소수점에서 편향 값(Bias)은 127이다. 즉, 저장된 값은 실제 지수 + 127이다. 편향 값을 127로 설정하면 지수 표현 범위를 넓힐 수 있으며, 하드웨어 연산이 단순해지는 장점이 있다.