본문 바로가기

연구/수학 : 선형대수, 확률통계, 신호처리, 알고리즘, 미적분22

p Norm vector norm : 각각의 엘리먼트의 절대값을 p제곱한다음 루트p 따라서 L1 norm은 element 절대값의 합에 해당하고, L2 norm은 피타고라스의 정리처럼 유클리드 거리를 구한것에 해당한다. http://mathworld.wolfram.com/VectorNorm.html - 좀 더 보기 편한 수식https://rorasa.wordpress.com/2012/05/13/l0-norm-l1-norm-l2-norm-l-infinity-norm/ 2016. 9. 17.
미분의 체인 룰, 합성 함수 미분 # 체인룰 체인 룰이라 불리는 법칙은 사실은 합성 함수 미분의 원리를 말하는 것이다. 즉 f(g(x))를 미분하면, f'(g(x)) * g'(x)이 되는데, 이것이 바로 체인룰이다. 그냥 겉미분*속미분 같은 공식으로는 설명이 불충분하고 비직관적이다.보다 직관적으로 설명하자면, g(x)=u 라고 먼저 정의를 하고, f(u)를 u로 미분한다음, u를 다시 x로 미분하게되면 f'(u) = df/du * du/dx = df/dx f'(u) = df/du = f'(u) * u' (단, u' = g'(x)) 이 되고, 이는 마치 곱셈과 나눗셈으로 du 를 약분하듯이 계산된다. 이것이 체인룰이다. (물론 df/dx가 정확히 분수는 아니나, 아래의 합성 함수 미분의 증명을 보면 의미적으로는 충분히 약분이 가능한 형태임.. 2015. 10. 11.
Hilbert Space, Orthogonality, Fourier Transformation Hilbert Space : 일반적으로 우리가 사용하는 유클리디안 스페이스를 좀더 일반적인 영역까지 확장한 개념.우선 힐버트 스페이스는 무한차원의 벡터 스페이스를 의미한다. 이 힐버트 스페이스에서 두 벡터의 내적은 두 함수의 곱셈에 대한 적분으로 정의된다. 그 이유는 우선 힐버트 스페이스 상에서의 벡터는 무한개의 원소를 갖고 있어 함수의 형태로 표현을 해야한다. 그렇기 때문에 두 벡터의 내적은 결국 두 함수의 곱셈에 대해 적분하여 연속적으로 모든 변수를 합한 것이 된다. Orthogonality : 직교성을 기하학적으로 이해하면 90도로 비틀어진 축이다. 그러나 이렇게 이해하면 무한 차원에서는 다소 헷갈릴 수 있다. 단순히 대수적으로 내적의 값이 0 이다라고 생각하면 편하다. 내적이 0 이라는 것은 두 .. 2015. 7. 8.
3대 작도 문제 부피가 2배인 정육면체 작도하기임의 각도를 3등분하기정사각형과 넓이가 같은 원 그리기. 작도는 4칙연산과 루트를 사용하는 연산들이라고 한다. 그런데 위의 3가지 문제는 이 5가지 연산 이외의 것이 추가로 필요하므로 작도가 불가능하다고 한다. http://cafe.naver.com/geochips/5015 2015. 4. 2.
Projection Matrix, Eigenvector - 프로젝션 메트릭스프로젝션 매트릭스는 위와 같이 생긴 매트릭스를 말한다. (물론 트랜스포즈를 취하거나, 1이 1,1 항에 있어도 상관 없음)프로젝션 메트릭스의 정의는 AP=AP^2=AP^3 ... 을 모두 만족하는 것으로 아무리 곱해도 한번 곱한 것과 같아지는 행렬을 의미한다.즉 어떠한 공간상에 정사영되었기 때문에, 다시 정사영을 하여도 같은 것이다.간단히 생각해보면 a가 0일때의 프로젝션 매트릭스는 (2,2)의 성분만이 남아있는 직선위로 정사영 시킨 것이고, a가 1이라면 마찬가지로 어떠한 직선위에 정사영되어 행렬의 일부 성분만 남는 것을 의미한다.a가 2나 3등의 수 일 경우 각도가 직각이아닌 어떤 임의의 각도를 가진 직선으로 정사영시키는 것이라고 볼 수 있다. http://en.wikipedia... 2015. 4. 1.
Unbiased Estimation, Biased Estimation # 불편 추정치(unbiased estimation) : 모집단(population)의 통계값을 정확하게 측정할 수 있는 방법. - 설문조사를 통해 모집단 평균 구하기 : n개의 샘플 그룹을 만들고 각 샘플 그룹에서의 평균의 평균을 내면 모집단의 평균을 정확하게 예측 가능함이 증명되었다. 그러므로 이는 unbiased estimation에 속한다. # 편의 추정치(biased estimation) : 모집단(population)의 통계값을 정확하게 측정할 수 없는 방법. - 설문조사를 통해 모집단 분산 구하기 : 모집단의 분산은 표본들의 분산과 항상 같지 않으므로(n-1배만큼 작음)이는 biased estimation이다.-> n개의 샘플 그룹을 만들고 각 샘플 그룹에서 분산을 내서 모으면 모집단의 분산.. 2015. 3. 23.
평균과 분산 통계적 검정, T 검정, 카이스퀘어 검정 - T 분포 : 정규분포*자유도/카이스퀘어분포t분포는 데이터의 개수에 따라서 점점 뾰족하게 모양이 변하는 분포이다. 따라서 t분포를 이용한 검정 즉, t검정을 하면 그냥 정규분포로한 일반 검정보다 데이터의 샘플수가 적을때 보다 아웃라이어에 강한 특징이 있다.그대신 데이터가 30이상이 되면 가우시안과 분산이 거의 같아지므로 t분포를 쓰는 의미가 없다.보통 데이터의 개수가 적은 경우, 즉 데이터 1개짜리의 자유도가 작은 경우에 t분포를 사용한다. (t분포는 자유도가 작으면 양끝이 두툼해지는 모양이되어 아웃라이어에대해 robust해진다.)http://blog.naver.com/gracestock_1/120202114986 - 카이스퀘어 분포 : 표준정규분포를 제곱한 데이터의 분포통계에서 쓰는 자유도는 모두 같.. 2014. 12. 15.
Digital Signal Processing, Parallelization 과거에는 신호처리를 아날로그 방식(하드웨어에서 처리)으로 많이 했었으나, 하드웨어의 발달로 빠르고 자유로운 프로그래밍이 가능한 디지털 방식이 선호되고 있다.물론 디지털 방식은 아날로그 방식에 비해 속도가 느리므로, 아직도 성능이 중요한 부분은 아날로그 방식을 사용하고 있다. 즉 기술이 발달될 수록 기존 기술은 디지털화가 되고, 성능이 중요한 새로 개발된 기술은 아날로그가 담당하게 된다.Embeded System이란 단일 목적으로 개발된 (일종의 아날로그) 하드웨어이다. 아날로그 방식 : 상대적으로 저전력, 저비용에 고성능이다. 그러나 한번 완성된 제품은 수정이 불가능하고 개발 기간이 매우 길고, 단일 목적만 가능하다.디지털 방식 : 상대적으로 고전력, 고비용에 저성능이나 반대로 수정이 언제든지 가능하며 .. 2014. 11. 17.
Matrix, Vector 선형대수학에서 4 by 2 은 4개의 row와 2개의 column인 행렬이다.순서에 유의.세로가 먼저임. 행렬에서 column이 1인 것을 vector라고 부른다. 따라서 column space = vector space이다.또한 그러한 이유로 데이터 행렬의 column은 feature이고 rows는 instance가 된다. i 번 째 instance 를 x^(i)로 표현i 번 쨰 instance의 j 번 째 feature를 x_j^(i)로 표현 2014. 10. 3.
Information Theory / Distance Metric for PDF 1.Information Theory (=Shannon's Information Theory) 정보량에 대해 기술하기 위한 이론으로 엔트로피를 핵심 개념으로 사용하며, 기계학습을 비롯해 셀 수없이 방대한 분야에서 활용되고 있다.Shannon's Bits : Information 의 양을 나타내기 위해 샤논은 bit를 다음과 같이 사용하였다.Shannon은 정보량을 다음과 같이 정의하였다. 확률 p인 사건의 정보량 = 1/p 를 나타내는데 필요한 bit의 개수 = log_2(1/p)그래서 정보량이 log_2(1/p)인 것이다. 이에 따라 확률이 낮은 사건일수록 그값을 표현하는 데 bit가 더 많이 필요하다. http://en.wikipedia.org/wiki/Information_theoryhttp://w.. 2014. 9. 29.
표본의 분산 표본의 분산을 구할 때 N이 아닌 N-1로 나누는 이유는 다음에서 매우 직관적으로 설명되어 있다. (정확한 이유는 자유도가 N-1이기 때문이다.) - 출처 지식in표본분산을 구할때 n-1로 나누는 이유를 질문하신게 맞지요?모집단의 분산을 구할때는 n으로 나눠주지만,표본분산을 구할때는 자유도로 나눠줍니다. 자유도란 말그대로자유롭게 값을 가질수 있는 수인데요~예를들어서 설명해 드리겠습니다. A, B, C 세 사람이 있습니다.세 사람의 키의 평균은 180이라는 것을 알고 있습니다.그리고 A의 키는 170, B의 키는 190이라는 것을 알고있다면C의 키는 몇일까요?평균이 180이었으므로 당연 180이 되겠지요?이렇게 평균의 값을 알고있게 됨으로써 C의 키는 180으로 고정됩니다.다시말해 A와 B의 키가 어떻게 .. 2014. 8. 14.
확률 법칙, The Rules of Probability. sum rule과 product rule은 연속확률 변수에대해서도 똑같이 사용 가능하다.(시그마 대신 적분을 사용) 위의 두 공식으로부터 유도되는, 또 다른 아주 자주 쓰이는 공식 (sum rule에 product rule을 대입하면 유도됨.) Conditional Probability , P(A|B)에서 자주 헷갈리는 모든 경우를 더해서 1이되는 개념.앞에있는 확률 변수 A가 실제로 계산되어지는 확률변수이다. given B는 그냥 단순히 조건일 뿐, P(A|B)는 A에대한 확률이다.따라서 더해서 1이 되는 것은 given이 같을때, 앞의 확률변수의 모든 경우를 더했을 때 1이 되는 것이다. (모든 given을 더해서 1이 되는 것으로 종종 헷갈림) 2014. 8. 11.
테일러 급수, 푸리에 급수 - 다항함수 : y=1+x^2과 같은 다항식만으로 표현 가능한 함수- 초월함수 : 로그함수, 지수함수, 사인함수와 같이 다항식으로는 표현할 수 없는 함수 - 테일러 급수의 의미 : 초월함수를 다항함수로의 근사한다. - 테일러 급수의 직관적 이해여기서는 엄밀한 증명이나 정의보다는 테일러 급수를 거꾸로 분석해 최대한 직관적으로 이해해보고자 한다. 우선 테일러 급수는 작은 구간에 한하여, 초월함수를 다항함수로써 근사시키는 것이다. (다항식으로 근사하는 이유는 수식의 계산이 엄청나게 쉽고 편해지기 때문이다) 이때 테일러 급수에 왜 미분계수가 사용 될까?x=a 지점에서의 초월함수가 근방의 좁은 구간에서 어떤 임의의 다항함수 g(x)와 같다고 가정해보자.그럼 이때 다항함수는 g(x) = C1 + C2*x + C3*.. 2014. 8. 10.
P, NP, NP-Complete, NP-Hard, 시간 복잡도 # 3단계 문제 난이도P: 폴리노미얼 타임으로 정답을 구할 수 있는 문제 NP: 임의의 값 1가지에 대해 정답인지 아닌지만 폴리노미얼로 계산할 수 있는 문제. NP를 풀려면 서치나 샘플링등의 계산적인 접근을 해야한다. NP-Hard: NP보다 조금이라도 무조건 더 어려운 문제. 얘는 계산적인 방법으로도 풀기힘든 문제이다. # NP-complete의 특수한 성질어떤 NP가 다른 NP로 컨버팅이 될때, 그 컨버팅 타겟문제를 지칭하는 말이다. 이녀석들 덕분에 P=NP 라는게 증명되면 왠만한문제가 다풀리는것이다.https://www.quora.com/What-does-NP-hard-mean P : 어떤 문제의 해답을 빠른 시간(=다항 함수)안에 찾을 수 있는 문제.다항 함수 : 한 변수의 곱셈과 덧셈으로만 이루.. 2014. 7. 22.
라그랑지 승수법, KKT condition 라그랑지 승수법(Lagrange multiplier) : 어떤 함수(F)가 주어진 제약식(h)을 만족시키면서, 그 함수가 갖는 최대값 혹은 최소값을 찾고자할 때 사용한다. L(x,λ) = F(x) + λ*h(x) 으로 표기하며, (x,λ)변수들로 각각 편미분 한 식이 0이 되는 값으로 해를 구한다. 이러한 계산의 원리는, 사실 두 함수의 기울기가 같아지는 공통접선을 구하는 것이다.(위 수식이 성립하는 이유는, F(x) = F(x) 에서 양변에 0에 해당하는 제약식( 0=h(x) )을 더해서 F(x) = F(x) + λ*h(x) 으로 놓고 문제를 푼것이라 생각하면 쉽다.) http://blog.naver.com/mindo1103/90154212128이글에 원리가 아주 잘 설명되어 있음. * 부연 설명 : .. 2014. 7. 18.