[논문리뷰]Few Shot Dialogue State Tracking using Meta-learning(2021)

제목 : Few Shot Dialogue State Tracking using Meta-learning

저자 : Saket Dingliwal, Shuyang Gao, Sanchit Agarwal, Chien-Wei Lin, Tagyoung Chung, Dilek Hakkani-T¨ur

발행년도 : 2021

paper : https://arxiv.org/abs/2101.06779

code : https://github.com/saketdingliwal/Few-Shot-DST

Review

dialogue state tracking(DST)가 특정 목적을 가진 chatbot을 만들기 위해 많이 사용되는 방법이지만, dst를 만들기 위해서는 잘 annotation 된 데이터가 필요하다. 그러나 annotation이 인력이 많이 들어가는 방법이기에, zero shot/few shot 의 방식의 dst가 필수적이다. 이 논문은 D-REPTILE이라는 meta learning 알고리즘을 개발하여, zeroshot/fewshot 환경에서도 잘 적용되는 meta-learning dst 시스템을 만들었다.

Multi Woz data 에 적용한 결과 이미지 중 하나. 파란색 실선이 논문에서 제안한 모델

결과부터 보면 x축은 학습한 dialogue, 세로축은 joint goal accuracy 를 나타내는데, zero/few shot 환경에서도 성능이 어느정도 잘 나오고 있는것을 볼 수 있다.

meta-learning?

learning to learn이라고 하며, 적은 데이터로도 일반화가 가능하도록 하자는 목적을 가지고 있다. 
개념이 포함하고 있는 내용이 방대해서, 논문에 나온 내용만 정리하자면, 논문에서는 REPTILE(2018) 이라는 few shot learning 알고리즘을 변형하여 사용하였다. meta learning 의 여러 방식 중, Optimization 방식을 변형해서 few shot learning 이 가능하도록 한 논문이고 이전 방식(MAML - model agnostic meta learning)에 비해 연산과 메모리 사용량에서 이점이 있는 방법이다. 

Reptile 알고리즘 설명. 논문에서 가져옴

자세히 보면 내가 이해하기론, 전체 task(data)를 sampling하여 loss를 구해 평균을 낸 뒤 업데이트 하는 방식을 여러번 적용하는 듯 한데, 이게 어떻게 잘 되는지는 의문이다. 그래도 결과를 보면 잘 된다고 하는 설명이 많아서, 다음에 더 공부를 해봐야겠다.

아래 그림은 MAML에 있는 그림이다. Meta learning은 아래와 같이 적은 데이터 sample에 대해 loss를 여러개 구해서 평균내서 한번에 이동한다고 이해했다.

MAML 논문에서 가져온 그림

 

Methodology

메타 러닝의 알고리즘 중 REPTILE을 변경시킨 D-REPTILE알고리즘을 사용한다

출처 : Few Shot Dialogue State Tracking using Meta-learning

input인 D는 domain을 의미하며 paramter는 meta모델을 학습시키는데 필요한 하이퍼 파라미터, 그리고 결과 값으로  학습된 meta model이 나온다.

과정을 보면 각 domain(hotel.area, hotel.stars)을 학습시켜 얻은 새로운 state를 기존 state와 차를 구하고, 이를 도메인별로 평균낸 값을 meta model에 적용하는 것을 볼 수 있다.(기존 REIPTILE과 거의 동일)

 

일부만 tagging된 데이터에도 적용이 가능하다고 하니, 실제 현실 데이터에 적용해서 실험해 볼 만 하다는 생각이 든다.

reference

 

메타러닝 : https://talkingaboutme.tistory.com/entry/DL-Meta-Learning-Learning-to-Learn-Fast논문 : https://arxiv.org/abs/2101.06779

[DL] Meta-Learning: Learning to Learn Fast