베이지안 정리(Bayes' Theorem)

베이즈 정리에 대해 잘 안다고 말하는 정도가 어느정도인지...

이 정도를 안다고 하는 건 들어는 봤다고 말하는 느낌이다.

하지만, 일단 이해한 부분까지 정리해본다.

http://darkpgmr.tistory.com/62 의 글을 통해 이해했다.

* 조건부 확률 = 베이지안 룰 = 베이지안 정리 = 베이지안 법칙

P(x | z) = p( z | x) * p( x ) / p( z )

- 용어 정리

p(x | z) : 사후 확률(posterior probability), 어떤 사건(관측값) 이후에 나타나는 확률

p(z | x) : 우도, 가능도(liklihood), 표본이 모집단을 대표하는 정도?(이 부분에 대해서는 공부가 더 필요하다)

p( x ) : 사전 확률(prior probability), 어떤 사건(관측값) 이전에 나타나는 확률

p( z ) : 관측값에 대한 확률

여기에서 우리가 궁금한 건 x 이다.(x의 확률, x는 불확실성을 계산할 대상)

x를 구하기 위해서는 ML, MAP 라는 개념을 사용해서 구할 수 있다.

(x를 구한다는 것은 어떤 클래스, 즉 z가 x에 더 잘 어울릴지?를 구하는 과정이다)

ML(Maximum liklihood) : liklihood를 최대로 하는 x를 찾는 것

MAP(Maximum A Posterior) : Posterior probability를 최대로 하는 x를 찾는 것

수식으로 정리하면 다음과 같다.

ML : x = argmax(x) = P(z | x)

MAP : x = argmax(x) = P(x | z) = P( z | x )P( x )

여기서 P(x)를 사라지게 한다면, ML 과 MAP가 같은 값으로 볼 수 있는데,

이렇게 하는 경우는 x(즉, x를 계산할 수 없을 때나 모를 때),

모든 P(x)(P(x1) = P(x2) = ... = P(xn))에 대해 같은 값으로 보고, 이를 제거하여 계산하기도 한다.