Parametric vs Non-parametric

차이점 구분하기

"Unlike a parametric model, where the number of parameters stay fixed with respect to the size of the data.

In nonparametric models, the number of parameters grows with the number of data points."

https://stats.stackexchange.com/questions/46588/why-are-gaussian-process-models-called-non-parametric

즉, 파라미터의 개수를 정확히 셀 수 없는 경우에 논파라메트릭이라고 한다.

# Parametric Model : 데이터가 특정한 모델을 따른다고 가정하고, 그것의 고정된 개수의 파라미터들을 학습해서 튜닝하는 것.
ex) Linear regression, Gaussian Mixture Model

# Non-parametric Model : 데이터가 특정한 파라미터에 종속된다고 가정하지 않고, 학습해서 튜닝할 파라미터의 명시적으로 존재하지 않거나, 정확히 셀 수 없는 경우

ex) KNN(학습을 해서 파라미터 튜닝하는게 아님. K는 학습대상이 아님)

ex) GP regression

- GP regression의 경우에 Bayesian Prediction을 하기 때문에, 결과적으로 parameter를 marginalize한다. 그래서 파라미터가 유동적이기 때문에 non-parametric이라고 하는 듯..?

# 예시

뉴럴넷 : Parametric
SVM : Parametric

http://ai-times.tistory.com/472

http://en.wikipedia.org/wiki/Non-parametric_statistics