[Python] Quantization - scaler 값 integer로 변환

Python코드로 Quantization - scaler 값 integer로 변환하기

 

Scaler = 0.0000296831131
Scaler = np.round(Scaler*(2**24))   # Scaler를 24bit로 표현
print(Scaler)

해당 값이 498로 출력된다.

 

 

근데 Scaler를 아래 변환기로 직접 계산해보면 496으로 오차가 발생한다.

Scaler를 binary로 표현하면 21bit으로 가능하고, 

현재 24bit으로 통일하여 맞추고 싶으므로 binary 값에 LSB 3bit을 0으로 채우면 

decimal로 496이 나온다.

decimal to binary 변환에서 오차가 발생하는 것으로 보인다.