신경망1

 

신경망의 예

신경망은 입력층, 출력층, 은닉층으로 이루어져 있다. 은닉 층의 뉴런은 입력층, 출력층과 달리 보이지 않는다.

 

기존 퍼셉트론에서 b는 편향을 나타내는 매개변수로 뉴런이 얼마나 쉽게 활성화되느냐를 제어한다.

이를 기존 네트워크에 추가하면 아래와 같은 그림이 된다.

편향이 반영된 퍼셉트론

 

또한, 조건 분기의 동작들을 함수로 표현해서 간략화 하면 아래와 같은 수식으로 표현할 수 있다.

---

활성화 함수

 

가중치를 조합한 결과는 a라는 노드가 되고, 활성화 함수 h()를 통해 y라는 노드로 변환되는 과정을 명시적으로 표현했다.

여기서 h()는 입력 신호의 총합을 출력 신호로 변환해주는 함수로 이를 활성화 함수라고 하며 입력신호의 총합이 활성화를 일으키는지 정하는 역할을 한다.

 

위의 활성화 함수는 임계값을 경계로 출력이 바뀌는데 이를 계단 함수라고 한다.

퍼셉트론에서는 계단 함수를 사용했다. 하지만 신경망에서는 다른 함수들을 사용하며 시그모이드 함수와 ReLU 함수를 많이 사용한다.

---

시그모이드 함수

시그모이드 함수

이 함수는 퍼셉트론에서 사용했던 계단함수와는 달리 값이 연속적으로 변하게 된다. 퍼셉트론에서 사용했던 계단함수와 비교해보면 아래와 같은 차이를 갖게 된다.

퍼셉트론에서 사용했던 계단함수(좌), 시그모이드 함수(우)

계단 함수의 경우, 뉴런 사이에 0이나 1이 흘렀다면 신경망에서는 연속적으로 실수를 하게 된다(계속 0 혹은 1로).

---

ReLU(Rectified Linear Unit) 함수

ReLU 함수

최근에 많이 사용하고 있는 함수이며, 입력이 0을 넘으면 입력을 그대로 출력하고, 0 이하이면 0을 출력하는 함수이다.