목록연쇄법칙 (1)

생각하는감자

5장-오차역전파법

계산그래프의 역전파 계산그래프의 순전파가 계산 결과를 왼쪽에서 오른쪽으로 전달한 것과 다르게 역전파는 '국소적인 미분'을 순전파와는 반대로 오른쪽에서 왼쪽으로 전달한다. 이것을 전달하는 원리는 연쇄법칙에 따른다. 위의 그림에서 역전파의 계산 절차는 신호 E에 노드의 국소적 미분을 곱한 후 다음 노드로 전달하는 것이다. 이러한 방식으로 계산을 하면 목표로 하는 미분값을 효율적으로 구할 수 있다는 것이 역전파의 핵심이며 어떻게 그게 가능한 건지는 연쇄법칙의 원리로 설명할 수 있다. 연쇄법칙(chain rule) 연쇄법칙의 원리는 생각보다 간단하다. "합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다"가 연쇄법칙의 원리이다. 즉, 연쇄법칙은 합성함수의 미분에 대한 성질이다. 역..
딥러닝 2023. 3. 30. 17:19
이전 Prev 1 Next 다음