지난 포스팅까지 AND, NAND, OR같이 간단한 문제를 단층 퍼셉트론으로 표현한 것과 XOR 같이 하나의 직선으로는 표현할 수 없는 문제를 다층 퍼셉트론으로 해결한 것을 배웠습니다. 이번 포스팅부터 배울 신경망의 구조는 다음과 같습니다. 신경망은 왼쪽부터 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)라고 합니다. 은닉층의 뉴런은 입력층이나 출력층과 달리 사람 눈에 보이지 않습니다. 지난 시간에 배웠던 수식 y = b + w1x1 + w2x2에서 y값이 0을 넘으면 1을 출력하고, 넘지 않으면 0을 출력하였는데요. 그림으로 보면 다음과 같습니다. 편향은 항상 입력 신호가 1이기 때문에 그림에서는 해당 뉴런을 회색으로 채워 다른 뉴런과 수 구별했습니다...

지난 시간에 XOR 문제는 단층 퍼셉트론으로 해결할 수 없다고 했습니다. 그렇다면 XOR 문제는 어떻게 해결을 해야할까요? 그 해결법은 단층 퍼셉트론을 쌓아서 만든 다층 퍼셉트론(multi-layer perceptron)으로 해결을 할 수있습니다. XOR 게이트를 만드는 방법은 다양하지만, "밑바닥부터 시작하는 딥러닝" 책에서는 지난 포스팅에서 배웠던 AND, NAND, OR 게이트를 조합하여 만들었습니다. XOR 게이트 XOR 퍼셉트론 층이 여러 개인 퍼셉트론을 다층 퍼셉트론이라고 합니다. 위의 예제는 3층으로 구성되지만, 가중치를 갖는 층은 0층과 1층 사이, 1층과 2층 사이 뿐이라서 2층 퍼셉트론이라고 부르기도하고, 구성 층의 수를 기준으로 3층 퍼셉트론이라고도 합니다. 위의 퍼셉트론 동작은 다음..