- 다항함수 : y=1+x^2과 같은 다항식만으로 표현 가능한 함수
- 초월함수 : 로그함수, 지수함수, 사인함수와 같이 다항식으로는 표현할 수 없는 함수
- 테일러 급수의 의미 : 초월함수를 다항함수로 근사한다.
- 테일러 급수의 직관적 이해
여기서는 엄밀한 증명이나 정의보다는 테일러 급수를 거꾸로 분석해 최대한 직관적으로 이해해보고자 한다.
우선 테일러 급수는 작은 구간에 한하여, 초월함수를 다항함수로써 근사시키는 것이다.
(다항식으로 근사하는 이유는 수식의 계산이 엄청나게 쉽고 편해지기 때문이다)
이때 테일러 급수에 왜 미분계수가 사용 될까?
x=a 지점에서의 초월함수가 근방의 좁은 구간에서 어떤 임의의 다항함수 g(x)와 같다고 가정해보자.
그럼 이때 다항함수는 g(x) = C1 + C2*x + C3*x^2 ... 으로 표현가능하고, 우리가 Cn 값들 즉, 다항함수의 계수들을 알수만 있다면, 우리는 이 초월함수를 다항함수로 근사 할 수 있다.
그럼 이 계수들을 생각해보자면, 먼저 상수항인 C1 는 f(a)와 같음을 알 수있다.
왜냐하면 테일러 급수의 식을 보면 x=a 점에서의 값으로 f(a)이 나와야 한다. 그럼 테일러 급수에 x=a 을 대입해보면, 상수항을 제외한 다른 항들은 전부 0이 되므로 상수항 C1은 반드시 f(a)이 될 수 밖에 없다. (그리고 이러한 이유로 모든 다항식의 항이 (x-a)^n 의 꼴을 갖게 된다.)
또 이를 직관적으로 생각해보면 어떤 다항 함수를 x=a 근처에서 근사하려면, 일단 g(a) = f(a) 으로 두는것이 근사의 시작이고 볼 수 있다. 일단 x=a에서는 정확한 거니까! 그리고 나서 나머지 다른 고차항들을 이용해서 x=a 주변의 점들까지도 근사시키는 것이다.
그러면 이제 다른 고차항의 계수들을 생각해보자. 결론부터 말하면 다른 고차항의 계수들은 근사하는 지점 x=a 에서의 n-order 미분계수가 활용된다.
지점 x=a 에서 미분을 n-order로 하는 것은 x=a 지점에서의 가속도, 가속도의 속도, 가속도의 가속도.... 를 구한 것이라고 생각할 수 있다. 즉 x=a 지점에서 이러한 n차 가속도를 이용해서, 앞 뒤로의 점의 이동을 어느정도 예측하여, 좁은 구간에서 주변의 점들의 이동을 거의 정확하게 알 수 있어 근사가 가능한 것이다.
그러면 남는 것은 이제 n!로 왜 저 n-order 미분계수를 나누어주는 가인데, 일단 이건 제대로 된 유도 과정을 봐야 이해할 수 있을 것 같다. 그냥 직관적으로는 n-order로 갈수록 x=a 근방에 미치는 영향이 n배씩 점점 약해지는 거라고 생각할 수 있다.(n차 가속도이므로, 현재 시점 x=a에는 영향을 작게 준다.)
http://math.stackexchange.com/questions/472960/prove-taylor-expansion-with-mean-value-theorem
https://en.wikipedia.org/wiki/Taylor%27s_theorem#Proof_for_Taylor.27s_theorem_in_one_real_variable
- 매클로린 급수 : 태일러 급수에서, a=0일 때의 식
보통 e^x를 매클로린 급수로 전개하는 경우가 매우 빈번해서 중요함.
심지어 선형대수에서는 행렬 지수도 마찬가지로 전개한다. (행렬은 여러 원소의 묶음일 뿐이므로)
이를 통해, 다음의 미분 증명도 보일 수 있다.
(이는 행렬의 연산과 관련이 깊음.
푸리에 급수는 Orthonormal 한 벡터로 이루어진 행렬 A의 A*transpose(A) 로써 해석가능.
(http://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/video-lectures/ 24강 참조)
테일러 급수를 이용해서 (A-람다I)역행렬을 풀어쓸 수 있음(Factorization)
(1+x+x^2 + ... = 1/1-x 을 거꾸로 사용해서))
- 푸리에 급수의 직관적인 의미 : 다항함수를 초월함수로의 근사한다.
(세상의 모든 함수는 테일러 급수로 근사가 가능하고, 동시에 푸리에 급수로도 근사 가능하다는 코멘트를 읽은 적이있다.)
매틀로린 급수 : http://blog.naver.com/leebs/40188072047
그림 출처 : http://pinkwink.kr/196
http://navercast.naver.com/contents.nhn?rid=22&contents_id=5561
http://darkpgmr.tistory.com/59
http://joy3x94.blog.me/70142383105
http://mathnmath.tistory.com/81
http://blog.naver.com/yadong126/220070311924
'Research > Machine Learning' 카테고리의 다른 글
Information Theory, Distance Metric on PDF (2) | 2014.09.29 |
---|---|
Generative Model, Discriminant Model (0) | 2014.08.12 |
Weight Decay, Regularization, Overfitting, Validation set, Drop out, ReLU (0) | 2014.08.04 |
Deep Belief Network (0) | 2014.08.01 |
RBM, Contrastive Divergence (4) | 2014.07.23 |
댓글