solr 한글 동의어 처리 유의점

solr 한글동의어 처리 유의점

---

 

이 글은 앞의 solr검색엔진의 전체적인 흐름을 읽고 나면 더 정확하게 이하하실 수 있습니다.

 

 

 

동의어 처리 방법

---

solr는 동의어 처리를 analyzer 의 필터기능중의 하나로 처리합니다.

 

 

 

아래 "text_ko" 타입의 필드타입 정의 부분에서 보면 anaylzer 안에 tokenizer하나와 filter 여러개가 있는데

 

  <fieldType name="text_ko" class="solr.TextField" positionIncrementGap="100">
    <analyzer>
      <!-- 한글 토큰화 -->
      <tokenizer class="solr.KoreanTokenizerFactory" outputUnknownUnigrams="false" decompoundMode="discard"/>
      <!-- 동의어 -->
      <filter class="solr.SynonymGraphFilterFactory" expand="true" ignoreCase="true" synonyms="synonyms.txt"/>
      <!-- 제외할 단어(조사) 필터링-->
      <filter class="solr.StopFilterFactory" words="stopwords.txt"/>
      <filter class="solr.KoreanPartOfSpeechStopFilterFactory"/>
      <filter class="solr.KoreanReadingFormFilterFactory"/>
      <!-- 소문자로 변형 -->
      <filter class="solr.LowerCaseFilterFactory"/>
    </analyzer>
 
  </fieldType>

filter 중에

<filter class="solr.SynonymGraphFilterFactory" expand="true" ignoreCase="true" synonyms="synonyms.txt"/>

 

이 필터이 바로 동의어(synonyms)를 처리하는 부분입니다.

 

 

이 필터는 synonyms.txt 파일을 참조하여 동의어 처리를 하게 됩니다.

 

 

이 파일의 위치는 conf/synonyms.txt 입니다.

 

 

 

동의어 처리 기능

---

 

solr에는 동의어 처리 방법이 두가지가 있습니다.

 

',' 로 연결하는 방법

 

첫번째는 쉼표(,)로 연결하는 방법입니다. 이 방법은 우리가 생각하는 **동의어** 와 가장 유사합니다.

 

 

예를들어 conf/synonyms.txt에 아래와 같이 작성하면

 

MB,mib,megabyte,megabytes

localhost:8983/solr/#/[core_이름] 에 접속해서, anlysis 메뉴에서 동의어 등록이 잘 된 것을 볼 수 있습니다.

 

 

여기서 SGF 는 SynonymGraphFilterFactory 로, 동의어 필터를 의미합니다. 동의어 필터를 거치면서 동의어 등록이 잘 된것을 볼 수 있습니다.

 

' => ' 로 연결하는 방법

 

'=>' 기호는 *동의어* 라기 보다는 *치환* 의 개념으로 사용됩니다, 따라서,

 

 

pixima => pixma

 

로 synonyms.txt 에 작성하면 pixima 라는 단어는 pixma 로 자동 수정됩니다.

 

 

 

 

화면을 보면, 동의어 필터(SGF)를 거치면서 pixma 가 pixima로 수정된 것을 알 수 있습니다.

 

 

 

한글 처리시 주의점

 

---

 

 

영어로 된 글을 처리한다면 문제가 동의어 처리의 기능에 문제점이 없지만, 한글로 된 문서를 처리할 때는 동의어 처리에 약간의 문제가 발생합니다.

 

 

 

특히 '한글로 된 영어외래어'와 영어를 동의어로 등록하는 부분에서 문제가 발생합니다.

 

 

예를들어

 

마이크로서비스,msa,MicroServiceArchitecture,마이크로서비스아키텍쳐,마이크로서비스,마이크로 서비스 아키텍쳐, microservice

 

위와 같이 동의어 등록을 한다면

 

 

마이크로 서비스 아키텍쳐를 검색하면 msa와 동의어 연결이 되어야 한다고 생각하지만

 

 

 

실제로는

 

 

 

KT(한글 tokenizer) 를 거치면서 '마이크로' 가 '마이크' ' 로' 로 나뉘어지고, '아키텍쳐'도 '아키 | 텍 | 치어'로 형태소 분리가 되어버립니다.

그렇기 때문에 SGF(동의어 필터) 는 '마이크로서비스아키텍쳐'를 찾지 못하고 넘어가 버립니다.

 

 

KT(한글 tokenizer)는 '마이크로' 를 micro 가 아닌 by mic 로 이해한 것이죠

이를 개선하기 위해서 동의어 사전을 활용하여, 문제를 개선해 보았습니다.

동의어 사전을 활용하는 방법

동의어 사전을 활용하는 방식은 아래와 같습니다.

'마이크, 마이크로'와 '아키, 아키텍쳐, 아키텍처'와같이 KT(한글 tokenizer)를 거치며 분리된 단어를 다시 합쳐주는 것이죠

동의어 파일에 아래와 같이 있었다면

마이크로서비스,msa,MicroServiceArchitecture,마이크로서비스아키텍쳐,마이크로서비스,마이크로 서비스 아키텍쳐, microservice

이 내용을 추가해줍니다.

마이크, 마이크로 아키, 아키텍쳐, 아키텍처

마이크는 마이크로와 동의어로, 아키 는 아키텍처와 동의어인것을 알려주면, 토크나이저가 분리시켜버린 단어들이 다시 붙게 됩니다.

 

조금 보기 안좋긴 하지만, 아까와는 달리 마이크로 |서비스 | 아키텍쳐가 SGF(동의어 필터)에서 다시 생겨난 것을 볼 수 있습니다.

 

검색 query 에 msa를 넣어보면, msa의 동의어 중 하나인 '마이크로 서비스 아키텍쳐'와 매칭이 되어 검색이 되는것을 알 수 있습니다.

결과

아래 화면에서 왼쪽 부분이 검색 '될' 대상을 입력하는 부분, 오른쪽은 '검색어'를 입력하는 부분입니다.

검색 될 대상과, 검색어 모두 analyze를 거치게 됩니다.

마지막 단계 (여기서는 LCF) 에 색칠 된 부분이 있다면, 이는 'msa'의 검색결과로 '마이크로서비스 아키텍쳐'가 나올 수 있음을 의미합니다.

👍