- 확률 이론은 현대 패턴 인식에서 가장 중심이 되는 이론이다.
- 우리는 1장에서 확률 이론의 가장 기본이 되는 sum-rule 과 product-rule 을 배웠다.
- 지금까지 배운 많은 확률 이론들은 간단하든 복잡하든 상관없이 이 두 개의 이론을 반복적으로 사용한다.
- 그래서 우리는 대수적인 방법들을 도입하여 복잡한 확률 모델을 형식화하여 풀 수 있었다.
- 하지만 이번 장에서는 좀 더 쉽게 확률 분포를 해석하기 위한 그래프 도식 방법을 살펴볼 것이다.
-
이것을 probabilistic graphical model 이라고 부른다.
- probabilistic graphical model이 주는 장점은 다음과 같다.
- 확률 모델의 구조를 아주 쉽게 시각화 하여 새로운 모델을 디자인하는데 도움을 준다.
- 그래프화된 구조를 분석함으로써 모델 속성에 대한 직관을 얻을 수 있다.
- 예를 들어 조건부 분포의 독립 속성 들을 그래프를 통해 손쉽게 파악할 수 있음.
- 복잡한 학습과 추론 과정을 가지는 모델의 계산 과정을 그래픽적인 요소로 표현이 가능하다.
- 수학적인 요소들을 명시적인 그래프로 표현 가능하다.
- 용어 정리
- 일반적인 그래프는 노드(node)와 엣지(edge)로 표현된다.
- 하지만 확률 그래프 모델에서는 조금 다른 의미로 사용함.
- 노드(node) : 랜덤 변수(random variable)를 하나의 노드로 표현함.
- 링크(link) : 엣지(edge)와 동일한 표현으로 랜덤 변수 사이의 확률적인 관계를 나타낸다.
- 우리는 가장 먼저 Bayesian networks 라는 그래프 모델부터 살펴볼 것이다.
- 이는 방향성 그래프 모델(directed graphical models)에 속한다.
- 여기서 방향성이란 링크(link)가 양방향이 아닌 한쪽 방향으로의 관계만 성립한다는 것이다. (화살표로 표기한다.)
- Bayesian networks 말고도 Markov random field 라는 유명한 그래프 모델이 있다.
- 이는 비뱡향성 그래프 모델(undirected graphical models)에 속한다.
- 따라서 노드의 양 방향으로 관계가 맺어지고 화살표 표기는 사용하지 않는다.
- 방향성 그래프는 확률 변수 사이의 관계를 표현하는데 매우 편리하다.
- 반면 비방향성 그래프는 랜덤 변수 사이의 제약을 표현하는데 더 편리하다.
- 추론 문제를 풀기 위해서 우리는 종종 방향성 그래프와 비방향성 그래프 상관없이 공통적으로 사용할 수 있는 방법이 필요하기도 하다.
- 이런 그래프를 factor graph 라고 한다.
- 이번 장에서는 패턴 인식과 기계 학습에서 주로 사용하는 실질적인 그래프 모델에 대해 집중한다.
- 좀 더 일반화된 그래프 모델 이론이 궁금한 경우에는 별도의 자료를 찾아보도록.