Activation  Function

 

신경망에서 쓰이는 계산요소 또는 노드는 비선형적이며 대개 아날로그인데 현재의 디지틀 회로에 비하여 속도면에서 매우 느리다. 가장 간단한 노드는 아래그림에서 보는 바와 같이 N개의 입력을 받아 N개의 연결강도의 백터들과 곱해져서 특정한 출력함수 (activation function, transfer function) 를 거쳐 출력을 내게 된다. 노드는 내부적인 임계값이나 오프셋 θ, 그리고 비선형 함수의 형태에 따라 특정지워진다. 신경망에서 많이 사용되는 대표적인 비선형 함수로는 계단함수(hard limiter), 임계논리(threshold logic), 그리고 S자 형태와 시그모이드(sigmoid)형 등이 있다. 그 중에서 가장 많이 쓰이는 것은 시그모이드 함수이다. 이들보다 더욱 복잡한 노드의 형태는 시간적인 총합 (temporal integration) 또는 시간에 종속적인 것들, 그리고 단순한 합이 아닌 복잡한 수학적 연산을 포함하는 것들이다. 

 

 

 

활성화 함수 : 오창석 : 인공 신경망 모델에서 뉴런의 주요 기능은 입력과 연결 강도의 가중합 NET 를 구한 다음 활성화 함수에 의해 출력을 내보내는 것이다. 따라서, 어떤 활성화 함수를 선택하느냐에 따라 뉴런의 출력이 달라질 수도 있다 .......

활성화함수 : Colin Martindale : 할머니를 쳐다보고 있다고 가정하자. 할머니를 쳐다보는 것은 할머니를 부호화하는 마디 (node) 를 활성화시킨다. 할머니가 다른 곳으로 가버린다면, 마디의 활성화가 차단된다. 그렇기는 하지만 마디가 가지고 있던 활성화를 할머니가 가져가버리지는 않는다. 우리는 이웃하는 마디의 뒤이은 활성화가 할머니 마디를 외측으로 억제할 것이라고 생각할 수도 있다 ...... 할머니가 사라지고 난 한참 후에도 할머니 망령으로 인해서 괴로움을 당하지 않도록 하기 위하여 소멸요인을 집어넣기로 하자. 그렇게 되면 우리에게는 어느 누구도 놀라지 않을 등식 하나가 남는다 :

그러나 이 등식은 너무나 일반적인 것이어서 우리에게 알려주는 것이 많지가 않다. 먼저 흥분을 고려해보자. 활성화는 흥분의 단조함수임에 틀림없다 : 흥분이 증가함에 따라서 활성화도 증가한다. 그렇기는 하지만 우리는 이 두 가지가 완전히 직선적 방식으로 관련되어 있다고 생각하지 않는다. 왜냐하면 마디 또는 신경세포가 활성화될 수 있는 정도에는 한계가 있기 때문이다. 활성화가 흥분과 함께 끝없이 증가할 수는 없다 ......Grossberg (1980) 는 다음과 같은 방식으로 흥분이 활성화에 공헌한다고 제안한다 :

이 등식은 단지 마디가 최대 활성화에 가까울수록 흥분성 입력에 덜 의존한다는 것을 의미한다. 이 개념을 보다 명확하게 이해하기 위해서 활성화와 흥분을 일단 접어두고, 돈을 가지고 생각해보자. 가난한 사람에게는 100,000 원이 큰돈을 의미한다. 자신의 재산을 상당히 증가시키기 때문이다. 동일한 액수라도 억만장자에게는 거의 아무 것도 의미하지 않는다. 이미 가지고 있는 것에 비하면 무시할만한 액수만을 더해주기 때문이다 ....... 활성화는 신경회로망의 돈, 즉 통용화이다 ........ 이와 유사한 생각을 억제에 적용할 수 있다 ........

........ 만일 출력함수가 S 자 형태 또는 시그모이드 형태를 취하면 시스템은 우리가 원하는 대로 작동한다. 시그모이드 출력함수를 갖는 마디는 억누름 역치 (quenching threshold) 를 갖는다. 억누름 역치란 특정한 수준 이상의 활성화는 증폭되고 수준 이하의 활성화는 억눌린다는 것을 의미한다. 실제 신경세포도 시그모이드 출력함수를 갖는 것으로 보인다 .......