미분

'손실함수'의 값을 이용해서 '미분'을 해서 미분값이 0 이 되는 지점을 찾아 조금씩 가중치를 조절하기 위해  미분이 필요하다.

고등학교때 배운 미분은  극한의 값이 들어가는데 이것은 컴퓨터가 연산을 할수 없다.

따라서 위에서 보이는 0으로 수렴하는 값 h 대신에 아주작은어떤값을 사용하게 되고, 이것은 약간의 오차가 생기긴 하지만,,어쩔수없다.

편미분

위의 미분이 계수가 한개일때 사용하는 방법이라면, 편미분은 계수가 한개 이상일 때 사용하는 방법이다.

편미분은 내가지금 초점을 맞추고 있는 계수 말고 나머지는 상수처럼 취급을 하고 미분을 하면 된다.

기울기 

모든 편미분을 벡터로 정리한 것

경사법-경사하강법

가장 오차가 작은점을 찾기 위해서 기울기를 이용한다.

원래있던 가중치에서 얼만큼 이동해야(값을 변화시켜야)하는지는 미분을 통해서 알 수 있고, 그것을 얼만큼 반영시킬 것인지는 '학습률'이라는 값에 의해 정해진다. 학습률은 미분값앞에 붙은 계수이다.

구현방법은 다음과 같다.

def gradient_descent(f, init_x, lr=0.01, step_num=100):
    x = init_x
    
    for i in range(step_num):
        grad = numerical_gradient(f,x)
        x -=lr*grad
    return x

lr : 학습률 

step_num :학습을 몇번 할 것인가.