조건부 독립과 응용

독립 (Independence) : P(A,B) = P(A)*P(B), A⊥B 으로 표기
우리가 일반적으로 말하는 독립은 사실 무조건부 독립이라고 볼 수 있다. 즉, A와 B 사건은 어떠한 상황에서도 서로 독립이다. 그러나 이러한 예는 실제 세계에서는 생각보다는 별로 존재하지 않는다.

조건부 독립 (Conditional independence) : P(A,B|C) = P(A|C)*P(B|C) , (AㅛB)|C 으로 표기
조건부 독립. A와 B 사건은, C사건 하에서는 서로 독립이다. 줄여서 CI라고도 한다.(다른 D사건의 전제하에해서는 독립일 수도, 아닐 수도 있다.) 

이때 그냥 A와B는 서로 독립이 아님. 왜냐하면 서로 C를 통한 연관성이 있기때문. 그러나 C가 일어난 상황에서는 A,B를 서로 독립이다. 왜냐하면 모든 연관성이 C에게 있기 때문에, C가 일어난 상태에서 A와B는 서로간의 연관이 없다.

(Ex) A: 오늘 땅이 젖는 확률 / B: 내일 비가 올 확률 / C : 오늘 비가 올 확률
오늘 내 집앞의 땅이 젖은 이유가 오늘 비가 왔거나, 누군가 땅에 물을 뿌린 것이다라고 가정해보자.
그러면, 오늘 땅이 젖었다 -> 오늘 비가 왔다 -> 내일도 비가 올 확률이 높다라는 일련의 작은 연관성이 있다.

그러나 만일 C가 이미 일어났다면 A와 B, 즉 오늘 땅이 젖은 것과 내일 비가 오는 것 사이의 연관성은 모두 C에 포함되어 있으므로 A와 B사건은 서로 무관한, 즉 독립 사건으로 볼 수 있다는 것이다.

즉 A와 B가 서로 독립이 아닐때(서로 연관성이 있음), 만약 C라는 사건이 A와 B가 연관된 모든 요소를 갖고 있는 경우, C가 일어난 상황에선 A와 B는 서로 독립이다라고 한다는 것이다.

(다시 말하자면 왜냐하면 A와 B가 종속인 이유가 C에 모두 들어있으니, C가 전제되면 이제 A와 B는 겹치는게 없다.)

조건부 독립의 Bayesian Network 에서의 응용사례

컨디셔널 인디펜던스를 이용해 베이지안 네트워크가 만들어 짐. 여러 관측된 사건과 관측되지 않은(Hidden) 사건 간의 조건부 독립 관계를 여러가지로 모델링 하여 주어진 사건(관측된 사건)들을 가장 잘 예측하는 모델이 Bayesian Network이다.

실질적으로 A,B,C 사건들 구성된 BN에서 어떤 사건이 일어날 확률을 알아내기 위해서는 중간 과정에서 P(A,B,C)를 계산해야하고, 이 때 순환적인 조건부 확률이 나타나게 되는데, 조건부 확률을 서로간의 사건간에 가정하여 공식 P(A,B|C) = P(A|C)*P(B|C) 을 이용하면 쉽게 계산을 처리할 수 있다.