모두의 딥러닝 -파이토치 ch3-ch4 정리

모두의 딥러닝 링크 : https://www.youtube.com/watch?v=SKq-pmkekTk&list=PLbbloOsdWVwTNNkjnLuqEWtzjRqfBALF7

모두의 딥러닝 ch03

optimizer(loss를 최소로 만드는 w를 찾는 방법) : 경사 하강법 알고리즘

loss 를 가장 작게 만드는 w를 찾는 것이 learning의 목표이다.

가장 오차가 작은 곳을 찾는방법 -> 미분을 이용해서!

변수가 두개, 세개일때도 미분이 가능하다(예를들어, 시험공부시간, 시험난이도 두 데이터를 이용해 시험 결과를 예측하고 싶은 경우)

모두의 딥러닝 ch04

왼쪽에서 오른쪽으로 w1이 결과값에 미치는 영향을 결과로 계산해 내는 방법이 있지만 신경망이 복잡해지면 현실적이지 못한 방법이 된다.

back propagation은 오른쪽에서 왼쪽으로w1 이 결과값에 미치는 영향을 알아내서(영향= 미분값) w1의 수정을 가능하게 한다

신경망이 복잡하더라도 사용에 문제가 없다.

optimzer 함수:

지금까지는 확률적 경사 하강법 = SGD를 사용해 왔다(미분-> 반영 -> 미분 -> 반영)

말고도 다양한 optimizere들이 있다.