생각하는감자

계산그래프의 역전파 계산그래프의 순전파가 계산 결과를 왼쪽에서 오른쪽으로 전달한 것과 다르게 역전파는 '국소적인 미분'을 순전파와는 반대로 오른쪽에서 왼쪽으로 전달한다. 이것을 전달하는 원리는 연쇄법칙에 따른다. 위의 그림에서 역전파의 계산 절차는 신호 E에 노드의 국소적 미분을 곱한 후 다음 노드로 전달하는 것이다. 이러한 방식으로 계산을 하면 목표로 하는 미분값을 효율적으로 구할 수 있다는 것이 역전파의 핵심이며 어떻게 그게 가능한 건지는 연쇄법칙의 원리로 설명할 수 있다. 연쇄법칙(chain rule) 연쇄법칙의 원리는 생각보다 간단하다. "합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다"가 연쇄법칙의 원리이다. 즉, 연쇄법칙은 합성함수의 미분에 대한 성질이다. 역..

신경망 퍼셉트론을 사용할 때의 단점은 여전히 원하는 결과를 출력하기 위해서는 사람이 수동적으로 가중치 값을 적절히 정해야 한다는 것이다. 신경망이 이 점을 해결해 주는데, 신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력을 가지고 있다. 예를 들어 간단한 신경망을 그림으로 나타내면 아래와 같다. 가장 왼쪽 줄을 입력층이라 하고, 가장 오른쪽 줄을 출력층이라고 하며, 그 사이에 있는 줄들은 은닉층이라고 한다. 2장에서 언급한 퍼셉트론을 활용하여 신경망의 신호전달방법을 살펴보자면, 퍼셉트론을 수식으로 나타내면 아래와 같았다. b는 편향(bias)을 나타내는 매개변수인데, 뉴런이 얼마나 쉽게 활성화되는지를 제어하는 역할을 한다. w는 각 신호의 가중치(weight)를 나타내는 매개변수..