• 이번 장을 통해 우리는 고정된 크기를 가지며 비선형 기저 함수를 가지는 선형 결합 모델들을 비교해 보았다.
• 우리는 또한 파라미터의 선형식을 적용하는 것이 closed-form 형태의 솔루션인 최소 제곱법에 아주 적합한 방식임을 살펴보았다.
• 그리고 이를 활용하여 다루기 쉬운 베이지안 기법들을 살펴보았다.
• 또한 다양한 기저 함수를 선택하여 입력과 출력을 매핑하는 복잡한 형태의 비선형 모델도 사용해 보았다.
• 이 다음 장에서는 우리는 분류(classification)를 위한 모델을 살펴볼 예정이다.

---

• 지금까지 살펴본 선형 모델들은 패턴 인식 문제를 풀기위한 일반적인 목적의 솔루션들이다.
• 하지만 안타깝게도 이러한 선형 모델에는 일부 단점들이 존재한다.
• 우리는 신경망이나 SVM 을 통해 이러한 문제점들을 보안하는 방법을 살펴볼 예정이다.
• 가장 문제가 되는 가정은 기저 함수 \( \phi_j(x) \) 가 고정되어 있다는 것이다.
• 따라서 관찰된 학습 데이터의 차원이 증가하는 경우 1.4절에서 언급한 차원의 저주 문제가 그대로 나타나게 된다.
  • 이 결과로 차원이 증가할 수록 기저 함수의 크기가 보통 입력 공간 $D$ 에 대해 지수로 증가하게 된다.

---

• 이러한 문제를 해결하기 위한 기법으로 두가지 정도를 제시할 것이다.
• 가장 먼저 알아야 할 것은 우선 데이터 \( {x_n} \) 가 입력 공간보다 작은 내부 차원을 가진 비선형 매니폴드 공간에 놓여있다는 사실이다.
  • 그 결과로 입력 데이터 사이에는 강한 상관관계가 존재한다.
  • 이 말이 무슨 말인지 모르겠으나 뒤로 가다보면 알겠지.
• 12장에서 손글씨(mnist)를 처리하는 예제를 통해 이를 살펴볼 예정이다.
• 만약 우리가 국소화된 기저 함수(localized basis function)를 사용한다면 입력 공간 내에 흩어진 데이터를 재배열할 수 있다.
  • 이러한 접근 방식을 방사 기저 함수 (radial basis function) 네트워크라고 한다.
• 시그모이드(sigmoid)를 사용하는 비선형 기법의 신경망을 도입할 수도 있다.