Mixed Precision 일반적인 neural network에서는 32-bit floating point(FP32) precision을 이용하여 학습을 시키는데, 최신 하드웨어에서는 lower precision(FP16) 계산이 지원되면서 속도에서 이점을 얻을 수 있다. 하지만 FP16으로 precision을 줄이면 수를 표현하는 범위가 줄어들어 학습 성능이 저하될 수 있다. Mixed Precision은 딥러닝 모델 학습 과정에서 부동소수점 연산의 정밀도를 혼합하여 사용하는 기술로, 학습 속도를 높이고 메모리 사용량을 줄이는 데 도움을 준다. Mixed Precision은 대개 FP32(32비트 부동소수점)와 FP16(16비트 부동소수점)을 조합하여 사용하며, 가중치와 그래디언트는 FP16로 저장하..