Kernel Density Estimation, Gaussian Mixture Model

비 모수적 방법 (Non-parametric method) : Model의 구체적인 스펙을 정하지 않고, 데이터에 따라 저절로 정해지도록 하는 방법

Kernel Density Estimation : N개의 데이터가 주어졌을 때, 각각의 데이터를 평균으로하는 N 개의 가우시안 분포를 가정한다. 이때 가우시안의 분산은 임의로 정한다.(그래도 가장 중요한 평균은 데이터에 맡기므로 non-parametric에 해당함)

그리고 N개의 가우시안을 모두 더하여 다음과 같은 Model을 만든다.

가우시안 믹스쳐 모델 (Gaussian Mixture Model) : 가우시안 믹스쳐 모델도 가우시안을 기본으로 모델링을 한다는 점은 같지만, 가우시안의 개수를 직접 지정해주기 때문에 parametric 에 해당한다. 이 모델은 몇개의 가우시안으로 주어진 모든 데이터를 가장 잘 나타내도록 Fitting 한다.

이 모델은 모든 가우시안을 더하는 게 아니다. 각 가우시안 모델은 랜덤하게 선택될 확률을 가지며, 그 확률을 고려한 모든 가우시안의 평균이 전체 모델이 된다.