본문 바로가기
Research/Machine Learning

Hilbert Space, Orthogonality, Fourier Transformation

by 곽동현 이스텔리앙 2015. 7. 8.

Hilbert Space : 일반적으로 우리가 사용하는 유클리디안 스페이스를 좀더 일반적인 영역까지 확장한 개념.

우선 우리가 사용하는 힐버트 스페이스는 무한차원의 벡터 스페이스를 의미한다. 이 힐버트 스페이스에서 두 벡터의 내적은 두 함수의 곱셈에 대한 적분으로 정의된다. 

힐버트 스페이스 상에서의 한 점(벡터)은 무한개의 원소를 갖고 있어 함수의 형태로 표현을 해야한다. 그렇기 때문에 두 벡터의 내적은 결국 두 함수의 곱셈에 대해 적분하여 모든 점들의 정보를 합한 것이 된다.


* 전문가의 제대로된 설명 *



Orthogonality : 직교성을 기하학적으로 이해하면 90도로 비틀어진 축이다. 그러나 이렇게 이해하면 무한 차원에서는 다소 헷갈릴 수 있다. 단순히 대수적으로 내적의 값이 0 이다라고 생각하면 편하다. 내적이 0 이라는 것은 두 축이 서로 영향을 주지 않는다라고 생각하면 된다.

만약 두 함수가 서로 직교한다는 것은 두 함수의 곱셈을 적분한 것이 0 이라는 것이고, 이것은 즉 두 함수가 전혀 다른 축상에 놓여 있어 서로 아무런 영향을 주지 않는다라고 보면 된다.

이와 동시에 내적이란 두 벡터간의 유사성을 측정하는 정도라고 생각할 수 있다.

이와 관련하여 cosine distance 또한 두 벡터의 거리를 측정하는 단위인데, 두 벡터의 내적의 정의를 이용하여 코사인 값을 구하여 측정한 거리이다.

https://en.wikipedia.org/wiki/Cosine_similarity



Fourier Transformation : 푸리에 변환은 어떠한 파동형태의 신호가 주어졌을 떄 이것을 아주 작은 단위로 쪼갠 각 점을 각 차원으로 본 것이다. 아주 작은 단위로 쪼갰기 때문에 각 점은 무한개가 되고, 이는 즉 무한차원의 공간을 의미하게 된다. 그러면 어떠한 임의의 신호는 무한차원의 힐버트 스페이스 상의 한 점(하나의 백터)으로 나타내어질 수 있다.

(이 때 discrete fourier transformation은 유한개의 차원으로 하나의 파동을 유한개의 스페이스의 한점으로 나타낸 것 인듯)

이렇게 힐버트 스페이스상의 한 점으로 바뀐 파동을 기술하기 위해 힐버트 스페이스의 각 차원을 구해야 한다.

이것은 직교성을 이용해 하나의 축을 임의의 주기를 가진 cosine으로 놓고, 이것과 직교하는 다른 축을구하고, 그다음 축은 이미 정해진 두개의 코사인과 직교하는 축을 구하는 식으로 구해지는 듯 하다.



http://scieng.net/zero/view.php?id=tech&page=1&category=&sn=off&ss=on&sc=on&keyword=&select_arrange=subject&desc=desc&no=527

'Research > Machine Learning' 카테고리의 다른 글

Tex, LaTeX, Lyx  (0) 2015.08.10
논문 작성시 저작권의 공정 이용  (0) 2015.08.10
Hilbert Space, Orthogonality, Fourier Transformation  (2) 2015.07.08
Fourier Transform, Power Spectrum, MFCC  (0) 2015.04.22
확률 통계 용어정의  (0) 2015.04.20
BI CM세미나 동영상  (0) 2015.04.20

댓글2

  • DH 2019.11.16 01:53

    결정계수 검색하다가 여기까지 왔네요 ㅎㅎ 예전글이긴한데 Hilbert space 정의 자체에는 무한차원이라는 조건이 없습니다. complete inner product space가 Hilbert space입니다. 모든 유한차원 inner product space ,예를 들어 R^2,R^3 ,들은 complete해서 자동으로 Hilbert space가 됩니다!
    답글