학습 알고리즘 구현하기

신경망 학습의 순서

전체

신경망에는 적응 가능한 가중치와 편향이 있고, 이 가중치와 편향을 푼련데이터에 적응하도록 조정하는 과정을 학습이라고 한다.

다음과 같이 4단계로 진행한다.

1단계 - 미니배치

훈련 데이터중 일부를 무작위로 가져온다.(전체를 하면 너무 많기 때문)

2단계 - 기울기 산출

미니배치의 손실 함수값을 줄이기 위해 각 가중치 매개변수의 기울기를 구한다.

기울기는 손실함수의 값이 적어지도록 하는 값을 제시한다.

3단계 - 매개변수 갱신

가중치 매개변수를 기울기 방향으로 아주 조금 갱신한다.

4단계 -반복

1~3단계를 반복합니다.

경사하강법으로 매개변수를 갱신하고, 이때 데이터를 미니배치로 무작위로 선정하기 때문에  "확률정 경사하강법 = SGD" 라고 부릅니다.