🌲자라나는청년

오버피팅이 일어나는 경우- 매개변수가 많고 표현력이 높은 모델(층이 많은 모델)-훈련데이터가 적은 모델 오버피팅-훈련데이터는 잘 구별해 내지만 다른 데이터에는 성능이 좋지 못한것 오버피팅을 방지하는 방법 가중치 감소-가중치 매개변수의 값이 클때 가중치의 값을 줄이는 것 드롭 아웃-은닉층의 뉴런을 임의로 삭제 a는 일반신경망 b는 드롭아웃을 적용한 신경망 첫번째 그래프는 일반 신경망, 두번째 그래프는 드롭아웃을 적용한 신경망

배치정규화 : 각층의 활성화 값 분포가 적당히 퍼지도록 '강제' 장점-학습을 빨리 진행할 수 있다.-초깃값에 크게 의존하지 않는다.-오버피팅을 억제한다. 배치정규화가 하는 일학습시 미니배치를 단위로 정규화.데이터의 분포가 평균이 0, 분산이 1이 되도록 정규화

가중치는 0.01*np.rnadom,randn(10,100) =>표준편차가 0.01인 정규분포처럼 랜덤한 값을 해야한다 이유 : 오차역전파법을 잘 활용하기 위해 가중치의 추천 초기값 sigmoid, tahnhn개라면 표준편차가 (1/n)^1/2 인 분포를 사용하는걸 추천 relu n개라면 표준편차가 (2/n)^1/2 인 분포를 사용하는걸 추천(He 초깃값이라고 함)

다음과 같은 확률 공간에서 기울기를 벡터로 나타내면 아래와 같다. 이전에 사용하던 확률적 경사 하강법(SGD)는 아래와 같은 움직임을 가진다 모멘텀v 는 속도에 해당. 위의 식은 기울기 방향으로 힘을 받아 물체가 가속되는 것을 나타냄av항은 물체가 아무 힘을 받지 않을때, 서서히 하강시키는 역할(지면마찰, 공기저항. 이동을 줄인다) AdaGrad 학습을 진행할 수록 학습률을 줄이기Adam위에서나온 모멘텀과 AdaGrad를 합친것

오차역 전파법을 사용하는 이유 -미분을 효과적으로 할 수있다. affine계층 softmax-with-loss계층소프트맥스함수 는 교차엔트로피 오차사용 항등함수의 손실함수로 평균제곱오차 사용 =>결과값이 깔끔

two layer인 신경망은 만드는 코드입력 - hidden- 출력층으로 구성되어있다. 가중치 초기화 함수12345678 def __init__(self, input_size, hidden_size, output_size, weight_init_std=0.01): # 가중치 초기화 self.params = {} self.params['W1'] = weight_init_std * np.random.randn(input_size, hidden_size) self.params['b1'] = np.zeros(hidden_size) self.params['W2'] = weight_init_std * np.random.randn(hidden_size, output_size) self.params['b2'] = np..

신경망 학습의 순서 전체신경망에는 적응 가능한 가중치와 편향이 있고, 이 가중치와 편향을 푼련데이터에 적응하도록 조정하는 과정을 학습이라고 한다.다음과 같이 4단계로 진행한다. 1단계 - 미니배치훈련 데이터중 일부를 무작위로 가져온다.(전체를 하면 너무 많기 때문) 2단계 - 기울기 산출미니배치의 손실 함수값을 줄이기 위해 각 가중치 매개변수의 기울기를 구한다.기울기는 손실함수의 값이 적어지도록 하는 값을 제시한다. 3단계 - 매개변수 갱신가중치 매개변수를 기울기 방향으로 아주 조금 갱신한다. 4단계 -반복1~3단계를 반복합니다. 경사하강법으로 매개변수를 갱신하고, 이때 데이터를 미니배치로 무작위로 선정하기 때문에 "확률정 경사하강법 = SGD" 라고 부릅니다.

'손실함수'의 값을 이용해서 '미분'을 해서 미분값이 0 이 되는 지점을 찾아 조금씩 가중치를 조절하기 위해 미분이 필요하다. 고등학교때 배운 미분은 극한의 값이 들어가는데 이것은 컴퓨터가 연산을 할수 없다. 따라서 위에서 보이는 0으로 수렴하는 값 h 대신에 아주작은어떤값을 사용하게 되고, 이것은 약간의 오차가 생기긴 하지만,,어쩔수없다. 편미분 위의 미분이 계수가 한개일때 사용하는 방법이라면, 편미분은 계수가 한개 이상일 때 사용하는 방법이다.편미분은 내가지금 초점을 맞추고 있는 계수 말고 나머지는 상수처럼 취급을 하고 미분을 하면 된다. 기울기 모든 편미분을 벡터로 정리한 것 경사법-경사하강법가장 오차가 작은점을 찾기 위해서 기울기를 이용한다. 원래있던 가중치에서 얼만큼 이동해야(값을 변화시켜야)하..