적절한 하이퍼 파라미터 값 찾기

하이퍼 파라미터는 사람이 정해야 하는 값으로

각 계층의 뉴런수, 배치크기, 매개변수 갱신시의 학습률, 가중치감소 양 등이 있다.

하이퍼 파라미터를 효과적으로 탐색하기 위해서 '검증데이터'를 사용한다.

검증데이터는 훈련데이터, 시험데이터와는 다른 새로운 데이터이다.

데이터셋중에는 훈련, 검증, 시험 세개로 분리해 놓은 데이터가 있고, 훈련, 시험 두개로만 분리한 것도 있다.

두개로 분리되어 있을때는 훈련데이터의 20%정도를 따로 떼어 검증데이터로 사용하는것이 일반적이다.

하이퍼 파라미터 최적화 -> 최적값이 존재하는 범위를 조금씩 줄여가는것

신경망의 하이퍼 파라미터 최적화에는 규칙적인 탐색보다 랜덤한 탐색이 좋다고 알려져있다.

학습을 위한 에폭을 작게하여 1회 평가에 걸리는 시간을 단축하고, 학습->평가를 반복한다.

정리

0단계 

하이퍼 파라미터의 값의 범위를 정합니다

1단계

설정된 범위에서값을 무작위로 추출합니다.

2단계

1단계에서 샘플링한 하이퍼파라미터 값을 사용하여 학습하고, 검증데이터로 정확도를 평가합니다(에폭은 작게)

3단계

1단계와 2단계를 적절히 반복, 하이퍼파라미터 값을 좁혀갑니다.