• Batch Normalization: 개별 input feature에 대한 통계를 구한다.(mini-batch내의 모든 데이터와 모든 시공간 dimension을 across out)
• Layer Normalization: 개별 instance에 대한 통계를 구한다.(모든 feature와 모든 시공간 dimension을 across out)
특히 각 seq마다 input feature의 스케일이 다를때 유용하다. ex) 시끄러운 wav 파일, 조용한 wav 파일
• Instance Normalization: 개별 instance에서, 개별 input feature의 통계를 구한다.(모든 시공간 dimension을 across out)
이것은 사실 통계라고 말하기 힘듦. 그냥 그 값 1개를 가져오는 것임
• Group Normalization: 개별 instance에서, 개별 feature 그룹의 통계를 구한다.(모든 feature 그룹과 모든 시공간 dimension을 across out)
https://nealjean.com/ml/neural-network-normalization/
'연구 > Machine Learning' 카테고리의 다른 글
| 소규모 프로젝트를 위한 GPU 자원, GCP (0) | 2019.12.08 |
|---|---|
| Residual connection (0) | 2019.10.22 |
| 각종 Normalization technique (2) | 2019.10.22 |
| 물리학에 기반한 모델 (0) | 2019.05.15 |
| 강화학습, Exponentially weighted average계산하기 (0) | 2019.01.22 |
| 딥러닝에서 쓸만한 다양한 Ensemble Method (0) | 2018.11.01 |
최근에 multi-head attention이랑 Group Normalization 같이 쓰는 연구가 있더라고..
답글
신기하네요 ㅎㅎ 논문링크도 좀 걸어주세용 ㅎㅎ