FastText Classification 적용해보기

Fast text 는 Facebook's AI Research (FAIR) lab 에서 만든wordembdding과,text classification을 위한 library 이다. 294개 언어에 대해서 pretrained model을 제공한다. 한국어도 포함된다(만세!)

이번에 MZ text classification 대회에 나가게 되면서, fast text classification을 사용해 보았고, 사용법과 후기를 남겨보려고 한다.

기존의 word to vector와의 차이점

기존의 word to vector는 단어 기반으로 학습을 진행한다. 

그렇기 때문에 사전에 없는 단어에 대해서는 제대로 단어 벡터를 가져올 수 없었다. 하지만 fasttext는 단어 내부에서도 ngram으로 쪼개서 학습하기 때문에, 어느정도 오타나 신조어에 대해서도 학습이 가능하다.

모르는 단어가 나왔을 때 두 방식의 차이점

그리고 속도면에서도 차이가 있다. 

Fasttext는 속도가 빠르다! classification 모델을 학습하기 위해 60000개의 문장을 학습하는데 5분이 채 걸리지 않았다.

그러나 모델의 크기가 word to vector 보다 커서, model load에 오랜 시간이 걸렸다. 특히 fasttext 에서 제공하는 한글 pretrainned모델 적용하려면 시간이 한참 걸린다 ㅠㅠ

Fasttext 학습과 테스트

data:

먼저 데이터 형식을 학습이 가능하게 바꿔 줘야한다

__label__1.차량제어    __label__운전제어    __label__일자따라가기    내 앞 에 있 는 차 계속 따라가 .
__label__1.차량제어    __label__운전제어    __label__일자따라가기    차 따라붙 기 가능 하 냐 ?
__label__1.차량제어    __label__운전제어    __label__일자따라가기    앞차 와 제 동거리 를 유지 하 면서 따라가 줘 .
__label__1.차량제어    __label__운전제어    __label__일자따라가기    앞차 따라 안 붙 어 ?
__label__1.차량제어    __label__운전제어    __label__일자따라가기    앞 에 차 뒤 에 붙 어 줄래 ?
__label__1.차량제어    __label__운전제어    __label__일자따라가기    나 의 앞차 를 따라 가 주 렴 .
__label__1.차량제어    __label__운전제어    __label__일자따라가기    앞 따라가 가 기 는 할 수 있 지 ?

txt파일에서 문장의 첫부분에는 __label__['class 이름'] 을, 뒤에는 형태소 분리가 완료된 문장을 '\t'기호로 분리하여 data형식을 바꿔준다. 한 문장에 여러 class가 가능하다.

모델의 학습도 간단하다.

import fasttext
model1 = fasttext.train_supervised(input="[학습파일경로]",
                                  epoch=100,
                                  bucket = 20000,
                                  lr = 1,
                                  wordNgrams=2,
                                  dim=80,
                                  )

print(model1.test("[테스트파일경로]")

model1.save_model(".[모델저장경로].bin")

학습속도가 빠르고, 성능도 어느정도 괜찮아서 괜찮은 것 같다!