cs231n(Spring 2017) 강의를 정리합니다. (본 포스팅은 cs231n 강의 Slide를 참고하여 작성하였습니다.) 강의 자료는 아래 링크를 참고하면 됩니다. Youtube:https://youtu.be/vT1JzLTH4G4 Course Notes:http://cs231n.github.io/ In Lecture 4 we progress from linear classifiers to fully-connected neural networks. We introduce the backpropagation algorithm for computing gradients and briefly discuss connections between artificial neural networks and biolo..

이번 포스팅은 3층 신경망 구현에 대해서 정리하겠습니다. 3층 신경망에서 수행되는 입력부터 출력까지의 처리(순방향 처리)를 구현합니다. 이를 위해 numpy의 다차원 배열을 사용합니다. 1. 3층 신경망 구조 왼쪽부터 입력층(0층) 2개의 뉴런, 은닉층(1층) 3개의 뉴런, 은닉층(2층) 2개의 뉴런, 출력층(3층) 2개의 뉴런 으로 구성되어 있습니다. 2. 표기법 가중치와 은닉층 뉴런의 오른쪽 위에는 (1)이 붙어 있습니다. 이는 1층의 가중치, 1층의 뉴런임을 뜻하는 번호입니다. 또, 가중치의 오른쪽 아래의 두 숫자는 차례로 다음 층 뉴런과 앞 층 뉴런의 인덱스 번호 입니다. 예를 들어 1층의 1번째 뉴런에서 2층의 2번째 뉴런으로 가는 가중치라면 W21입니다. 그리고 2층으로 가는 것이기 때문에 (..

지난 포스팅까지 AND, NAND, OR같이 간단한 문제를 단층 퍼셉트론으로 표현한 것과 XOR 같이 하나의 직선으로는 표현할 수 없는 문제를 다층 퍼셉트론으로 해결한 것을 배웠습니다. 이번 포스팅부터 배울 신경망의 구조는 다음과 같습니다. 신경망은 왼쪽부터 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)라고 합니다. 은닉층의 뉴런은 입력층이나 출력층과 달리 사람 눈에 보이지 않습니다. 지난 시간에 배웠던 수식 y = b + w1x1 + w2x2에서 y값이 0을 넘으면 1을 출력하고, 넘지 않으면 0을 출력하였는데요. 그림으로 보면 다음과 같습니다. 편향은 항상 입력 신호가 1이기 때문에 그림에서는 해당 뉴런을 회색으로 채워 다른 뉴런과 수 구별했습니다...

지난 시간에 XOR 문제는 단층 퍼셉트론으로 해결할 수 없다고 했습니다. 그렇다면 XOR 문제는 어떻게 해결을 해야할까요? 그 해결법은 단층 퍼셉트론을 쌓아서 만든 다층 퍼셉트론(multi-layer perceptron)으로 해결을 할 수있습니다. XOR 게이트를 만드는 방법은 다양하지만, "밑바닥부터 시작하는 딥러닝" 책에서는 지난 포스팅에서 배웠던 AND, NAND, OR 게이트를 조합하여 만들었습니다. XOR 게이트 XOR 퍼셉트론 층이 여러 개인 퍼셉트론을 다층 퍼셉트론이라고 합니다. 위의 예제는 3층으로 구성되지만, 가중치를 갖는 층은 0층과 1층 사이, 1층과 2층 사이 뿐이라서 2층 퍼셉트론이라고 부르기도하고, 구성 층의 수를 기준으로 3층 퍼셉트론이라고도 합니다. 위의 퍼셉트론 동작은 다음..

딥러닝 공부를 시작하면서 '밑바닥부터 시작하는 딥러닝' 교재들을 많이들 추천하여 이 책으로 공부를 하면서 내용을 정리해보고자 합니다. 퍼셉트론 퍼셉트론은 1957년에 프랑크 로젠블라트(Frank Rosenblatt)가 고안한 알고리즘입니다. 퍼셉트론은 신경망(딥러닝)의 기원이 되는 알고리즘이라고 합니다. *퍼셉트론: 다수의 신호를 입력으로 받아 하나의 신호를 출력 은 입력으로 2개의 신호를 받은 퍼셉트론의 예입니다. x1과 x2: 입력신호 w1과 w2: 가중치(weight) y: 출력신호 그림의 원을 뉴런 혹은 노드라고 합니다. 입력 신호가 뉴런에 보내질 때 weight가 곱해집니다.-> x1w1 + x2w2 뉴런에서 보내온 신호의 총합이 정해진 한계(임계값 θ:Threshold)를 넘어설 때 1을 출력..

Fei-Fei 교수님의 cs231n(Spring 2017) 강의를 정리해보고자 합니다. (본 포스팅은 cs231n 강의 Slide를 참고하여 작성하였습니다.) 강의 자료는 아래 링크를 참고하면 됩니다. Youtube:https://youtu.be/vT1JzLTH4G4 Course Notes:http://cs231n.github.io/ Lecture 3 continues our discussion of linear classifiers. We introduce the idea of a loss function to quantify our unhappiness with a model’s predictions, and discuss two commonly used loss functions for image ..