다음의 신경과학에서의 밝혀진 Neuron의 원리를 현재 사용되는 Deep Learning과 비교해보았다.

<Kandel의 Neural Science 5th edition에서의 Figure들을 보고 참고>


Figure 2-7. Divergence / Convergence 
이건 사실 그냥 일반 뉴럴네트워크도 모래시계 모양의 구조를 갖기 때문에, 현재의 딥러닝과 크게 차이나진 않아 보인다.


Inhibitor Neuron : 
이건 -weight로 충분히 표현될 수 있을 것 같다.


Figure 10-1. Excitatory Postsynaptic Potentials(EPSPs) / Inhibitory Postsynaptic Potential(IPSP)
Hidden activation 값이 +/- 인 것으로 표현될 수 있다.


Figure 2-8. Feed forward inhibition / Feedback inhibition
이개념은 신기하다. RNN계열 알고리즘이 생각난다.


Figure 2-12. Passive potential / Active potential
이건 사실 그냥 정보를 전달하는 방법일 뿐이다. 전자는 물리/기계적인 방법으로써, 광학 센서 개발 등에 필요한 것이고, 후자는 이미 뉴럴넷에서 W로 표현되어 사용중임



Table 8-1. Figure 8-1. Chemical Synapse / Electrical Synapse 
오.. 이건 좀 신기하다. 신경전달물질을 사용할 수 있는가 불가능한가의 차이. 일렉트릭 시냅스는 양방향성을 띄고 있으며 초고속 정보 전달 용인, 반면 화학적 시냅스는 신호를 증폭/감소 할 수 있는 기능이 있다. 비록 속도는 느리지만. 이러한 개념은 아직 근래의 딥러닝에 적용된 적이 없다.


Figure 10-6. AMPA / NMDA
AMPA는 선형적인 저항을 가진 반면, NMDA는 전압이 바뀜에 따라 저항이 바뀌는 비선형적인 모양을 갖고 있으며, rectfied linear unit과 같은 형태를 띄고 있다. 즉 음수 전압에서는 conductance가 0이고, 양수 전압에서는 conductance 기울기가 상수값을 가짐(직선임)


Figure 10-14. Temporal / Spatial Summation
템포럴 서메이션은 뭔가 RNN으로 충분히 표현할 수 있어보인다. 스페이셜 서메이션은 사실상 weighted summation과 같음. 다만, length constant가 무한대라서 100% 모든 정보가 더해지는 spatial summation임.





by 곽동현 이스텔리앙 2016.09.20 01:30
| 1 2 3 4 5 ··· 14 |