신경망

신경망

가장 왼쪽을 입력층, 오른쪽을 출력층 중간을 은닉층이라고 합니다.

그리고 앞의 노드에서 다음 노드로 전달되는 정보는 앞에서 퍼셉트론이 (가중치*노드+편향)을 했던것과 크게 다르지 않습니다.

그런데 여기서 하나의 차이점은 활성화 함수입니다.

 

퍼셉트론은  y = h(가중치*노드 + 편향)

이고 여기서 h라는 함수는 

x>0 => return 1

x<0 return 0

이라는 것으로 정해져 있었다면 신경망에서는 좀더 다양한 활성화 함수(h(x))가 등장하게 됩니다.

그래서 사실은 그림에 (노드와 활성화 함수의 곱 + 편향) => 활성화 함수 결과=> 다음노드

라는 과정이 생략되어 있습니다.

활성화 함수의 종류에는

1. 계단함수    2. 시그모이드 함수    3. relu함수 등등이 있습니다.

1. 계단함수

계단함수는 0의 기준으로 0보다 작으면 0의 값을, 0보다 크면 1의 값을 return 합니다.

아래는 계단함수를 만드는 코드입니다.

#계단함수 
#0보다 크면 1 return, 0보다 작으면 0 return
#아래 함수는 넘파이 배열을 받을 수 있다.
import numpy as np
def step_function(x):
    y = x>0 #y는 bool값이 들어있는 배열이 된다.
    return y.astype(np.int)#astype을 이용하면 자료형을 바꿀 수있다(bool->np.int로)
 
a = np.array([1.0,-3.5,2.0,5.0])
print('input : ',a)
print('output: ',step_function(a))

아래는 계단함수를 그래프로 그리는 코드입니다.

#계단함수의 그래프
import numpy as np
import matplotlib.pylab as plt
x = np.arange(-5.0,5.0,0.1)#-5부터 5까지 0.1의 간격으로
y = step_function(x)
plt.plot(x,y)
plt.show()
 

계단처럼 생긴 함수가 그려지는 것을 볼 수 있습니다.

2. 시그모이드 함수

시그모이드 함수는 위와 같은 식을 가졌습니다.

위의 함수를 코드로 구현에 보면 아래와 같습니다.

#시그모이드 함수
def sigmoid(x):
    return 1/(1+np.exp(-x))

아래는 시그모이드 함수를 그리는 코드 입니다.

#시그모이드 함수 그래프
 
#시그모이드 함수 그래프
x =np.arange(-5.0,5.0,0.1)
y =sigmoid(x)
plt.plot(x,y)
plt.show()