출력층 설계하기

신경망은 분류와 회기 모두에 사용할 수 잇습니다. 다만 둘중 어떤 문제냐에 따라 출력층에서 사용하는 활성화 함수가 사라집니다.

기계학습 문제는 보통 두가지 1. 분류, 2. 회기 로 나누어 집니다.

1. 분류  : 데이터가 어느 class에 들어갈지 예측하는 문제, ex ) 인물의 성별을 구별하는 문제

2. 회기 : 연속적인 수치 계산문제 : ex ) 인물의 몸무게 예측

일반적으로 분류에는 소프트맥스 함수를, 회귀에는 항등함수를 사용합니다.

회기에서 사용하는 항등함수는 말 그대로 입력값 = 출력값인 함수입니다.

 
def identity_function(X):
    return X
 

분류에서 사용하는 소프트 맥스 함수는 다음과 같습니다.

exp()는 지수함수를 의미하고, n은 출력층의 뉴런 수, k는 n개중 K번째 출력임을 의미합니다. 

위의 식을 풀어서 말하면, 

분모  : 출력층으로 들어온 각각의 값의 지수함수 값의 합

분자 : k번째 입력값의 지수함수값

을 의미합니다.

그래서 k번째라고 해서 k 번째 입력신호에만 영향을 받는것이 아니라, 모든 입력신호의 영향을 받습니다.

구현 : 

#소프트맥스 함수
def softmax(a):
    exp_a = np.exp(a)
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a#y에는 소프트 맥스를 거친 수들의 배열이 저장되게 된다
    return y

그런데 지수함수는 수의 크기에따라 범위가 너무 커져서, nan으로 출력될 위험이 있어서

#소프트맥스 함수 nan 피하기
def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a-c)#지수함수안에 들어있는 '-'연산은 사실은 나누기 연산
    sum_exp_a = np.sum(exp_a-c)
    y = exp_a / sum_exp_a
    return y