[NLP논문리뷰]SUMBT:Slot-Utterance Matching for Universal and Scalable Belief Tracking(2019)

제목 : SUMBT:Slot-Utterance Matching for Universal and Scalable Belief Tracking

저자 : Hwaran Lee* Jinsik Lee* Tae-Yoon Kim

발행년도 : 2019

paper : https://arxiv.org/abs/1907.07421

code : https://github.com/SKTBrain/SUMBT

 

Review

전에 리뷰한것과 마찬가지로 DST(domain state tracking)시스템은 새로운 도메인이나 slot을 추가해야 할 때, 어려움이 있다는 문제점이 있다. annotation이 매우 비싼 data이기 때문!(인력이 많이 들어간다). 그래서 나온 방법으로 slot-utterance matching belief tracker를 소개한다. Attention을 이용해서 domain-slot과 slot-value사이의 sementic한 정보를 학습하고, 유저와 시스템의 발화도 임베딩 후 attention을 통해 slot의 value를 non-parametic하게 예측하는 방법이다. 이 방법은 data의 수가 적어도 된다거나,, 하는 방식은 아니고 새로운 slot-value에 대해 적응이 잘 된다는 것을 장점으로 하는 논문이다.

출처 : 논문. SUMBT의 전체 개요

SUBMT는 bert를 알차게 활용한다. 모든 domain과 slot을 bert로 embedding시키고, ontology에 있는 value들도 모두 bert로 임베딩한다. 유저와 시스템의 발화도 embedding한다. 그리고 multihead attention을 통해 hidden state를 생성하고, 이를 RNN에 입력시킨후 LayerNorm을 거쳐 belief state 의 value를 생성해 낸다.

 

논문의 결과 그림인데, domain과 utterance의 attention을 시각화 한 것이다. 가격을 보면 reasonable price에 attention이 많이 들어가 있음을 알 수 있다.

단점

- ontology에 값이 미리 정의되어 있어야 한다. 즉, 앞으로 어떤 value가 slot에 input이 될지 미리 정의를 해야하고, 새롭게 나온 value에 대해서는 제대로 작동하지 않을 확률이 높다! 그리고 여전히 annotation된 데이터가 많이 필요하다.

 

reference

https://github.com/bcaitech1/p3-dst-teamed-st