Precision의 의미

- bf16: 표현할 수 있는 값의 범위가 훨씬 넓은 대신, 숫자의 정밀한 표현이 어려움
loss underflow에 대해서 상당히 robust함

- fp16: 표현할 수 있는 값의 범위가 아주 아주 좁은 넓은 대신, 숫자를 정밀하게 표현할 수 있음
loss underflow가 일어나지 않는 경우에 훨씬 더 정확한 학습/추론이 가능함.

 

fp16이든 bf16이든 모두 다 0에 가까운 숫자일 수록 정밀하게 표현할 수 있지만, 0에서 멀어질수록 점점 더 표현의 정밀도가 낮아질 수 있음. 그런데 bf16은 0에 가까운 숫자를 표현할 때의 정밀도는 더 떨어지지만, 더 넓은 범위를 표현할 수 있어서 loss explosion이나 NaN 문제에 있어서 robust함