본문 바로가기
연구/Machine Learning

각종 Normalization technique

by 곽동현 이스텔리앙 2019. 10. 22.

Batch Normalization: 개별 input feature에 대한 통계를 구한다.(mini-batch내의 모든 데이터와 모든 시공간 dimensionacross out)

Layer Normalization: 개별 instance에 대한 통계를 구한다.(모든 feature와 모든 시공간 dimension across out)
특히 각 seq마다 input feature의 스케일이 다를때 유용하다. ex) 시끄러운 wav 파일, 조용한 wav 파일

• Instance Normalization: 개별 instance에서, 개별 input feature의 통계를 구한다.(모든 시공간 dimension across out)
이것은 사실 통계라고 말하기 힘듦. 그냥 그 값 1개를 가져오는 것임

Group Normalization: 개별 instance에서, 개별 feature 그룹 통계를 구한다.(모든 feature 그룹과 모든 시공간 dimension across out)

위 그림에서 C를 feature dim으로 이해하고, H,W를 Time으로 이해하면 시계열에서도 쉽게 이해할 수 있다.

https://nealjean.com/ml/neural-network-normalization/

 

https://mlexplained.com/2018/01/13/weight-normalization-and-layer-normalization-explained-normalization-in-deep-learning-part-2/

댓글2