[NLP논문리뷰] Leveraging Slot Descriptions for Zero-Shot Cross-Domain Dialogue State Tracking

제목 : Leveraging Slot Descriptions for Zero-Shot Cross-Domain Dialogue State Tracking

저자 : Zhaojiang Lin , Bing Liu, Seungwhan Moon, Paul Crook, Zhenpeng Zhou, Zhiguang Wang, 
Zhou Yu, Andrea Madotto, Eunjoon Cho, Rajen Subba

발행년도 : 2021

paper : https://arxiv.org/abs/2105.04222

code : https://github.com/facebookresearch/Zero-Shot-DST

연구실에서 Domain State Tracking에 대한 연구를 계속 하면서, 여기저기서 제공되는 새로운 데이터에 대해 모델을 적용하려고 하다보니 DST모델에 대한 few/zero shot learning에 대한 연구가 절실해졌다! 그래서 지금까지 나온 논문들을 쭉 읽어보고 있다.
다행히 https://github.com/yukyunglee/Awesome-Dialogue-State-Tracking 여기 페이지에서 DST에 대한 논문들을 잘 정리해 주셔서(주시고 있어서) 편하게 찾을 수 있었다.👍

Review

앞전에 읽은 논문들과 마찬가지로, Domain State Tracking(DST)을 few/zero shot learning으로 학습하고자 하는 논문을 하나이다. 
논문에서는 T5를 사용해서 DST 모델을 만들었다. 전체 이미지는 다음과 같다.

논문에서 보여준 T5 모델을 이용한 DST. T5에게 대화를 보여주고, slot-name을 함께 주면, 대화안에서 답을 찾아낸다.

이 논문은 지금까지 나온 zero shot learning의 성능중에 가장 좋은 성능을 보여주었다.

출처:논문. zero shot 에서 hotel domain 에서의 초록색이 논문의 full version 파란색은 slot description이 없는 버젼. 둘다 성능이 아주 잘 나오는것을 확인 할 수 있다.

위 그림은 hotel domain에서 zeroshot learning일 때의 성능이다.(다른 domain에 대한 성능은 논문에 있다) 아쉽게도 논문에서 다른 모델의 Zero shot learning base line표는 따로 존재하지 않았다. 그러나 아래 few shot일 때 다른 모델과 비교한 것을 보면, zero shot에서의 성능이 다른 baseline모델의 few shot 보다 좋은것을 확인 할 수 있다.

출처 : 논문. few shot learning 환경에서의 

Contribute

이 논문이 다른 논문들과 차별점을 두는것은 T5 를 사용한 것도 있겠지만, slot description에 대한 부분이다.

hotel-stars라는 slot에 대한 description

최근에는 slot description에 대해 설명을 덧붙여 모델에 넣어주어, 모델의 성능을 증가시키는 방법이 사용되고 있는데, 일반적으로는 hotel-stars : "star of hotel" 과 같이 간단한 설명을 넣어주는게 전부였다. 그러나 이 모델에서는 마치 사람에게 hotel-stars가 무엇인지 알려주는 것 처럼 자세하게 slot value에 대해 설명해 주고 있다. 이렇게 다양한 설명을 주는 방법은 앞으로 다른 논문에서도 사용될 것 같다!

Limitation

아쉽게도 이 논문은 한계가 존재한다. 여기서 Zeroshot learning, Cross domain이라고 했지만 "같은 데이터 셋 안에서의 cross domain"을 의미한다. 즉 호텔예약 대화셋에서 이름, 별점, 위치에 대해 학습한 모델은 호텔예약의 체크인 시간은 학습할 수 있지만, 비행기 이착륙 시간에 대한 대화를 학습하지 못한다. 완전히 새로운 데이터에 대해서는 성능을 평가하지 않았다는점이 단점으로 다가왔다! (왜냐하면 내가 해야하는건 완전히 다른 domain에서의 적용이기 때문..)