문제 해결

1. 가중치 벡터 와 임계값 를 가지고 있는 TLU 는 초평면 경계를 구성한다. 중심으로부터 초평면까지의 유클리드 거리를 표현하는 식을 유도하라. 또 임의의 점 로부터의 거리를 나타내는 식도 유도하라 (신경망 을 참고하라).

2. 아래와 같은 훈련 집합은 선형 분리 가능하다. 이 훈련 집합으로 선형 임계요소를 훈련시키는 과정을 직접 기술하라. 유닛은 임계를 구현하는 것을 하나로 세어서 4 개의 입력을 가지게 된다. 가중치의 초기값은 0 으로 가정한다. 고정된 증가량을 가진 오차 수정 절차를 거쳐 수렴될 때까지 훈련시켜라. 훈련 과정 동안 각각의 패스 끝에서 가중치를 보여라. 이전의 입력값을 정점으로 하는 3 차원 큐브와 각각의 최종적인 가중치에 해당되는 초평면을 그려라.

3. TLU 를 가지고 차원의 입력 벡터 집합을 분류하려고 한다. 그러나 기술적인 이유에서 음의 가중치만을 가지게 된다고 가정하자. 어떻게 이러한 분류를 가능하게 할 수 있을까?

4. 두 개의 입력 차원을 가진 배타적 OR 함수를 구현하기 위한 신경망을 구현하라. 구현된 신경망은 (1) 두 개의 입력만을 가지는 선형 임계 함수로 구성된 한 개의 은닉층을 가지며, (2) 입력층에서의 출력을 입력으로 갖는 한 개의 출력 유닛을 가진다.

5. 한 개의 은닉층만을 가지고 임의의 입력을 가진 이진 함수를 구현할 수 있음을 증명하라. 단, 각 유닛은 임계값을 가진 유닛이다.

6. 다음과 같은 비선형 함수 유닛을 가정하자.

         if
       =  1 if
       =   otherwise

    임계값이나 시그모이드 비선형 함수를 사용하는 대신에 위에서 정의된 바와 같은 "ramp" 함수를 사용한다. 실제 출력 와 원하는 출력 사이의 제곱에러 를 최소화하기 위해 제시된 각 입력 벡터에 점진적으로 적용되는 최대 기울기 과정 (steepest-descent procedure) 으로부터 유도되는 가중치 벡터 의 조정 규칙을 유도하고 그 결과에 대해 논하라.

7. 다음 그림에서 나타나는 바와 같은 직렬 (cascade) 신경망을 고려하자. 세 개의 입력 유닛 이 존재한다. 시그모이드 유닛 1 은 이들 입력 모두와 임계치 입력인 을 받아들이고 2번은 시그모이드 1 번의 출력과 의 입력을 동시에 입력으로 받아들인다. 시그모이드 유닛으로의 모든 입력은 조정 가능한 가중치에 의해 가중된 값을 가진다. 신경망의 출력과 훈련벡터의 라벨간의 제곱 에러를 최소화시키는 방식에 기반한 역전파 방식의 가중치 조정 알고리즘을 유도하라. 모든 가중치 벡터 조정을 위한 학습률 요소 를 가정하라. 벡터 표기법을 사용해도 된다; 즉 입력 벡터 요소의 하위 레벨까지 표시할 필요는 없다.

8. 내적 유닛 (DPU : dot product unit) 은 입력 벡터 와 가중치 벡터 의 내적을 계산한다. 임계치는 존재하지 않고 출력은 단순히 행렬식 으로 표현된다. 여기서 는 행 벡터이고 는 열 벡터이다. 다음에 나타낸 DPU 신경망을 생각해 보자. 전체 네트워크가 하나의 DPU 유닛과 동일함을 증명하라. 이러한 DPU 유닛에 대한 가중치 벡터는 무엇인가?

9. (1) 한 개의 시그모이드 유닛을 위한 점진적인 기울기 하강 가중치 변경 규칙을 고안하라. 에러 함수는 이고, 는 원하는 출력값이고, , , X 는 차원의 입력 벡터이고, W 는 차원의 가중치 벡터이다.
(2) 이렇게 고안된 규칙은 제곱 에러 규약을 사용한 것과 어떻게 다른가?
(3) 이러한 새로운 규약이 사용되면 기존의 다층 신경망의 역전파 알고리즘은 어떻게 변화되어야 하는가?

* 「인공지능-지능형 에이전트를 중심으로-」최중민, 김준태, 심광섭, 장병탁, 1998.