🌲자라나는청년

모두의 딥러닝 RNN 강의(Lec 12) https://www.youtube.com/watch?v=-SHPG_KMUkQ&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=42&t=0s 모두의딥러닝rnn rnn의 기본적인 동작 원리는 아래와 같다. old state 와 new input이 현재의 output에 영향을 끼치게 된다. 따라서 이전의 것이 다음의 것에 영향을 끼치는 언어, 음악 등의 sequential한 분야에 쓰일 수 있다. 가장 기본적인 rnn모델인 vanilla모델이다. 위에서 설명한대로, 이전의 input들과 현재의 input이 현재의 output에 영향을 끼친다. 설명하는 모델 : character level language model example 검색..

오버피팅이 일어나는 경우- 매개변수가 많고 표현력이 높은 모델(층이 많은 모델)-훈련데이터가 적은 모델 오버피팅-훈련데이터는 잘 구별해 내지만 다른 데이터에는 성능이 좋지 못한것 오버피팅을 방지하는 방법 가중치 감소-가중치 매개변수의 값이 클때 가중치의 값을 줄이는 것 드롭 아웃-은닉층의 뉴런을 임의로 삭제 a는 일반신경망 b는 드롭아웃을 적용한 신경망 첫번째 그래프는 일반 신경망, 두번째 그래프는 드롭아웃을 적용한 신경망

배치정규화 : 각층의 활성화 값 분포가 적당히 퍼지도록 '강제' 장점-학습을 빨리 진행할 수 있다.-초깃값에 크게 의존하지 않는다.-오버피팅을 억제한다. 배치정규화가 하는 일학습시 미니배치를 단위로 정규화.데이터의 분포가 평균이 0, 분산이 1이 되도록 정규화

다음과 같은 확률 공간에서 기울기를 벡터로 나타내면 아래와 같다. 이전에 사용하던 확률적 경사 하강법(SGD)는 아래와 같은 움직임을 가진다 모멘텀v 는 속도에 해당. 위의 식은 기울기 방향으로 힘을 받아 물체가 가속되는 것을 나타냄av항은 물체가 아무 힘을 받지 않을때, 서서히 하강시키는 역할(지면마찰, 공기저항. 이동을 줄인다) AdaGrad 학습을 진행할 수록 학습률을 줄이기Adam위에서나온 모멘텀과 AdaGrad를 합친것

오차역 전파법을 사용하는 이유 -미분을 효과적으로 할 수있다. affine계층 softmax-with-loss계층소프트맥스함수 는 교차엔트로피 오차사용 항등함수의 손실함수로 평균제곱오차 사용 =>결과값이 깔끔

신경망 학습의 순서 전체신경망에는 적응 가능한 가중치와 편향이 있고, 이 가중치와 편향을 푼련데이터에 적응하도록 조정하는 과정을 학습이라고 한다.다음과 같이 4단계로 진행한다. 1단계 - 미니배치훈련 데이터중 일부를 무작위로 가져온다.(전체를 하면 너무 많기 때문) 2단계 - 기울기 산출미니배치의 손실 함수값을 줄이기 위해 각 가중치 매개변수의 기울기를 구한다.기울기는 손실함수의 값이 적어지도록 하는 값을 제시한다. 3단계 - 매개변수 갱신가중치 매개변수를 기울기 방향으로 아주 조금 갱신한다. 4단계 -반복1~3단계를 반복합니다. 경사하강법으로 매개변수를 갱신하고, 이때 데이터를 미니배치로 무작위로 선정하기 때문에 "확률정 경사하강법 = SGD" 라고 부릅니다.

신경망은 분류와 회기 모두에 사용할 수 잇습니다. 다만 둘중 어떤 문제냐에 따라 출력층에서 사용하는 활성화 함수가 사라집니다. 기계학습 문제는 보통 두가지 1. 분류, 2. 회기 로 나누어 집니다.1. 분류 : 데이터가 어느 class에 들어갈지 예측하는 문제, ex ) 인물의 성별을 구별하는 문제2. 회기 : 연속적인 수치 계산문제 : ex ) 인물의 몸무게 예측 일반적으로 분류에는 소프트맥스 함수를, 회귀에는 항등함수를 사용합니다. 회기에서 사용하는 항등함수는 말 그대로 입력값 = 출력값인 함수입니다.1234 def identity_function(X): return X cs 분류에서 사용하는 소프트 맥스 함수는 다음과 같습니다.exp()는 지수함수를 의미하고, n은 출력층의 뉴런 수, k는 n개중 ..