생각하는감자

최적화 매개변수의 최적값을 찾는 문제를 푸는 것을 최적화라고 하고, 매개변수의 최적값을 찾는다는 것은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것이다. 앞서 확인한 최적의 매개변수 값을 찾는 방법은 매개변수의 기울기를 이용하는 것이었다. 이를 확률적 경사 하강법이라고 했다. 확률적 경사 하강법(SGD) SGD는 단순하고 구현이 쉽다는 장점이 있지만, 문제에 따라 비효율적일 수도 있다. 비등방성함수, 즉, 방향에 따라 다른 성질을 가지는 함수에서는 탐색 경로가 비효율적이라는 단점이 있는데, SGD의 최적화 갱신경로를 알아보면 아래와 같다. 예를 들어 아래와 같은 함수의 최솟값을 구하는 문제를 생각해 보면, 최솟값을 가지는 장소는 (0,0)이지만 기울기 대부분은 (0,0) 방향을 가리키지 않는다...

학습 학습(train)이라는 것은 훈련용 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 과정이다. 신경망이 학습할 수 있도록 해주는 지표를 손실함수라고 한다. 결과적으로 손실함수를 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습과정의 목표라고 할 수 있다. 신경망의 특징은 데이터에서 학습할 수 있다는 것이다. 이것은 수만~수억 개의 매개변수를 수작업으로 직접 사람이 정한다는 것은 불가능하다고 할 수 있는데, 데이터를 보고 가중치 매개변수의 값을 자동으로 결정한다는 것은 매우 큰 장점이다. 훈련데이터 & 시험데이터 신경망을 학습시키기에 앞서 전체 데이터셋을 훈련용과 시험용으로 구분짓는 것은 매우 중요하고 당연히 해야 할 일 중 하나이다. 먼저, 훈련데이터(training data)를 사용하여..