베이즈 에러 (Bayes Error) : Training data를 완벽히 학습하였을 때(즉, 그 사건의 underlying density function 을 알고 있을 때), 그 Training data에 대해 가장 확률이 높은 Class Label을 선택하는 방법에서 발생하는 이론적 최소 오차.


min[P(y1|x), P(y2|x)] : 확률이 가장 큰 y를 선택 했을 때 발생하는 오차 값

P(x,y) : x와 y의 joint probability(결합 확률), x와 y가 동시에 일어날 확률. 즉 말 그대로 x,y 사건이 일어날 확률
(이때 y는 summation rule에 의해 시그마가 사라지며, P(x)로 바뀐다.)


따라서 해석을 하자면 베이즈 에러는 오차 값*확률=오차의 평균 을 계산한 것이다.


베이즈 에러는 모든 기계 학습에서 가능한 이론적 최소 오차로, 어떤 알고리즘이나 모델이 베이즈 에러에 비해 얼마나 오차가 큰지를 비교하는 경우가 많다.


ex) 어떤 동전에 실험을 통해 앞면과 뒷면이 4:1의 확률로 나타남을 알아내었다. 
(P(앞면) = 0.75, P(뒷면) = 0.25) / 앞면을 1로, 뒷면을 2로 정의

이때 동전을 한 번 던져 나오는 면을 예측해보면 앞면이 나올 확률이 항상 높기 때문에, 동전을 던지면 무조건 앞면으로 예측한다. 이때 발생하는 에러는(즉, 앞이라고 예측하였는데 뒷면이 나오는 상황)

bayes error = (0.25) * 1 = 0.25 이다.
(1인 이유는 항상 p(x)가 일어나기 때문이다. 만약 동전을 50% 확률로 던진다면 0.5를 곱해주어야 한다.)

by 곽동현 이스텔리앙 2014.10.27 19:52