[NLP논문리뷰]From Machine Reading Comprehension to Dialogue State Tracking: Bridging the Gap

제목 : From Machine Reading Comprehension to Dialogue State Tracking: Bridging the Gap

저자 : Shuyang Gao, Sanchit Agarwal, Tagyoung Chung, Di Jin, Dilek Hakkani-Tur

발행년도 : 2020

paper : https://arxiv.org/abs/2004.05827

code : x

Review

Dialogue state tracking(DST)는 task oriented dialogue system의 중요한 부분이지만, 데이터가 부족한것은 accurate하고 robust한 시스템을 만드는데 큰 장애물로 작용한다. 이 논문은 데이터 부족의 문제를 RC(Reading Comprehesion)의 데이터와 모델을 이용하여 DST문제를 푸는 방법을 제안한 논문이다. 

RC모델은 두가지를 사용했다. 먼저 extractive 한 DST문제는 span-based RC를 사용했다.

출처 : 논문. span based 모델을 적용한 사례

위 그림을 보면 restaurant.semi.food 에 대해서 what type of food does the user want to eat? 이라는 질문을 만든 뒤, 이에 대한 답을 위 dialugue에서 찾는 형태로 RC문제를 풀고 있다. 

Categorical 한 변수에 대해서는 다지선다형 문제를 모델을 사용하였다.

출처: 논문. Categorical 변수에 RC모델을 적용한 사례

정답라벨 외에도, not mentioned, don't care를 추가해서, 이에 대한 답도 찾을 수 있도록 하였다.

Trainning

두 단계의 trainning을 거쳤다. 먼저 RC데이터로 model을 coarse(거칠게)-tune 한 뒤에 multi-woz 데이터로 fine tunning하였다.

Result and Analyses

• 전체 데이터에

출처 : 논문, 전체 데이터에 대한 joint goal accuracy

맨 아래 STARC가 여기 논문에서 만든 모델인데, 전체 데이터에 대한 성능은 현재 State of the art인 DS-DST와 크게 차이가 나지 않는다고 한다.

• Few shot learning

출처 : 논문. few shot learning에 대한 다른 모델들과 비교. 데이터의 1%, 5%, 10% 만 학습 후 결과를 비교한 것

few shot learning에서는 STARC의 장점이 뚜렷하게 나타났다. 대부분의 상황에서 가장 좋은 점수를 기록하였다.

• Zero shot learning

출처 : 논문. Zero shot learning 환경에서의 Hotel domain에 대한 결과.

RC 데이터와 모델이 DST에 얼마나 도움이 되는지 알아보기 위해 Zero shot test를 진행하였다. multi woz 데이터를 한번도 보지 않은 상태임에도 50% 이상의 좋은 성능을 보였다. 이는 Reading Comprehension데이터와 모델이 DST에 충분히 도움이 된다는 것을 의미한다.

아쉬운점

그래도 ontology가 필요하다. multi class 문제에서 정답지(?)를 만들려면 미리 어떤 값이 나오게 될지 다 알고 있어야한다는 문제가 있다.