목록오버피팅 (1)

생각하는감자

6장-학습 관련 기술들

최적화 매개변수의 최적값을 찾는 문제를 푸는 것을 최적화라고 하고, 매개변수의 최적값을 찾는다는 것은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것이다. 앞서 확인한 최적의 매개변수 값을 찾는 방법은 매개변수의 기울기를 이용하는 것이었다. 이를 확률적 경사 하강법이라고 했다. 확률적 경사 하강법(SGD) SGD는 단순하고 구현이 쉽다는 장점이 있지만, 문제에 따라 비효율적일 수도 있다. 비등방성함수, 즉, 방향에 따라 다른 성질을 가지는 함수에서는 탐색 경로가 비효율적이라는 단점이 있는데, SGD의 최적화 갱신경로를 알아보면 아래와 같다. 예를 들어 아래와 같은 함수의 최솟값을 구하는 문제를 생각해 보면, 최솟값을 가지는 장소는 (0,0)이지만 기울기 대부분은 (0,0) 방향을 가리키지 않는다...
딥러닝 2023. 4. 5. 15:45
이전 Prev 1 Next 다음