딥러닝 강의 1일차

Intro to DeepLearning

Motivation

• 충분한 데이터가 있으면 사람보다 딥러닝 결과가 나은 결과를 내기 시작
• object detection(yolo)
• 소설 창작 AI
• deeparts(화풍 변환)
• super resolution (흐릿한 이미지를 토대로 해상도가 좋은 이미지를 예측하기

what is learning

• Bayesian의 관점에서 : 데이터를 보기 전과 보기 이후의 knowledge가 달라지는 것
• data-> knowledge+data ->knowledge + data ->knowledge
• 머신러닝
  • simple model : 변수를 가장 잘 설명하는 상수를 찾기(y = ax +b  의 식에서 a 와 b 찾기)
    
    
  • complex model : 위의 함수보다 복잡한 함수
• 딥러닝이 그전과 다른것 : 전문가의 의견을 필요로 하지 않는다. 데이터만 가지고 일함.(데이터가 많다고 가정할 때)
• components of ML
  • data : 데이터를 정리하는 일
  • model : 선형, NN 등등 정하기
  • objective : cross-entropy ,RMSE 정하기
    • MSE : mean sqared error(regression)
    • cross-entropy (classfication)
  • optimize : 최적화 하는 함수 정하기
    • 미분을 통해 오차를 가장 작게 만드는 함수, 여러가지 종류가 있음
    • 변수가 많아도, 다른 변수는 상수처럼 생각하고 미분하기 때문에 변수끼리 독립변수라고 생각하고 미분
• shallow vs deep
• shallow는 layer가 1개, deep은 layer가 여러개
• deep은 동일한 파라미터 수를 가지고 복잡한 레이어를 만들 수 있다. (답으로 가는 길이 많아진다)
• 이론적으로는 shallow도 좋지만, deep과 같은 성능을 만들기에는 힘들다!(훨씬 비효율적)
• representation
  • 데이터를 잘 나눌 수 있는 '축변환'을 하기
• manifold in multiple level
  
  • 층이 올라갈 수록, 추상적인 레벨(이미지 -> 사자라는 개념)으로 abstract representation이 된다.
• knowledge transfer
  • A를 잘하는 사람은 A' 도 잘할 수 있다.라는 개념
  • 학습된 레이어를 재사용 할 수 있다.
  • 호랑이랑 토끼는 데이터가 많기 때문에 잘 구분하는데 고양이와 개를 구분하고싶은데 데이터가 없다
    -> 이럴때 knowledge trasfer를 할 수 있다.
  • 일반적으로 맨 마지막 레이어를 제외하고 다 가져온다.
• techniques
  • batch normalization
  • residual network

Algorithms

• discrimitive model : 인식, 판별(cnn , rnn...)
  • CNN - convolution layer + pooling layer
  • RNN, LSTM
• generative model : 새로 무언가를 만들어 내는 모델(DBN, GAN, DBM, GSN,글쓰기..)