solr 검색엔진의 전체적인 흐름

solr 검색엔진의 전체적인 흐름

---

solr 는 무엇인가

 

solr 는

라고 공식 홈페이지에 나와있습니다.

 

그리고 제가 사용해 본 solr는 search기능과 indexing기능이 아주 잘 되어있는 또다른 DB라는 생각이 들었습니다.

solr에도 DB처럼 쿼리, index, table, column이 있고 이것들은 DB의 개념과 유사하게 사용됩니다.

 

solr의 전체적인 흐름

Analyzer, Tokenizer, Filter

solr에 검색어가 들어오거나, 저장해야 할 데이터가 들어 온 경우 token화(형태소 분리) -> 필터 의 과정을 거치게 됩니다.

아래 코드는 이러한 일련의 tokenizer와 filter를 설정하는 부분이고 각 core의 *conf/managed-shema* 에서 볼 수 있습니다.

 

(가장 위에 있는 태그인 FiledType에 대한 내용은 Indexing 부분에서 자세히 설명하겠습니다.)

 

 

analyzer에 관한 solr documentation

 

tokenizer에 관한 solr documentation

 

filter에 관한 solr documentation

 

 

  <fieldType name="text_ko" class="solr.TextField" positionIncrementGap="100">
    <analyzer>
      <!-- 한글 토큰화 -->
      <tokenizer class="solr.KoreanTokenizerFactory" outputUnknownUnigrams="false" decompoundMode="discard"/>
      <!-- 동의어 -->
      <filter class="solr.SynonymGraphFilterFactory" expand="true" ignoreCase="true" synonyms="synonyms.txt"/>
      <!-- 제외할 단어(조사) 필터링-->
      <filter class="solr.StopFilterFactory" words="stopwords.txt"/>
      <filter class="solr.KoreanPartOfSpeechStopFilterFactory"/>
      <filter class="solr.KoreanReadingFormFilterFactory"/>
      <!-- 소문자로 변형 -->
      <filter class="solr.LowerCaseFilterFactory"/>
    </analyzer>
 
  </fieldType>

 

 

각 토크나이저와, 필터를 거쳐가며 input이 단계별로 변화하는 모습은 localhost:8983/#/[core name] 에서 왼쪽의 Analysis 항목을 통해 볼 수 있습니다.

 

아래 캡쳐화면은, analysis 화면에서 "안녕하세요, 반가워요"를 입력했을 때, 어떤 토큰이 최종적으로 남는지 보여주는 화면입니다.

 

KT, SF 같은*영어약자는* 들은 각각 토크나이저와 필터들의 클래스 줄임말을 나타냅니다.

 

예를들어 KT 는 koreanTokenizerFactory 의 줄임말이고, LCF 는 LowerCaseFilterFactory 의 줄임말 입니다.

토크나이저와 필터를 통해 최종적으로 '안녕 | 반갑'이 살아 남았고, 이 두 단어가 indexing에 사용되게 됩니다.

 

Indexing

anlyzer를 통해서 최종적으로 '안녕하세요, 반가워요'라는 문장은 '안녕 | 반갑' 이라는 토큰으로 저장되게 됩니다

DataBase 의 index 개념처럼, solr는 Indexing 된 것을 보고 원래 데이터를 불러옵니다.

 

따라서 위와 같은 경우에는 '워요'라는 검색어를 입력해도, '안녕하세요, 반가워요' 라는 내용을 찾을 수 없습니다.

대신 '안녕', 이나 '반갑' 의 검색어를 입력한다면, '안녕하세요, 반가워요' 내용을 찾을 수 있게 됩니다.

 

 

field

데이터를 저장하는 field 를 만드는 것은, 같은 파일인 *managed-schema* 에서 아래와 같이 설정하게 됩니다.

각 field 는 DB 에서의 한 column을 의미합니다. filed 의 type은 int, varchar같은 변수의 타입을 말하는데 이 type에 fieldType 의 name을 적을 수 있습니다.

<field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />
    <field name="round" type="text_ko" indexed="true" stored="true"  multiValued="true" />
 
    <field name="class" type="text_ko" indexed="true" stored="true"  multiValued="true" />
    <field name="question" type="text_ko" indexed="true" stored="true"  multiValued="true" />

여기서

 

type = "text_ko"

의 의미는 type이 'text_ko' 인 것을 의미합니다. type에 따라 어떤 필터와, 토크나이저를 거칠 것인지가 결정됩니다.

위에서 우리는 'text_ko' type이 어떻게 설정되어 있는지 보았습니다.

  <fieldType name="text_ko" class="solr.TextField" positionIncrementGap="100">
    <analyzer>
      <!-- 한글 토큰화 -->
      <tokenizer class="solr.KoreanTokenizerFactory" outputUnknownUnigrams="false" decompoundMode="discard"/>
      <!-- 동의어 -->
      <filter class="solr.SynonymGraphFilterFactory" expand="true" ignoreCase="true" synonyms="synonyms.txt"/>
      <!-- 제외할 단어(조사) 필터링-->
      <filter class="solr.StopFilterFactory" words="stopwords.txt"/>
      <filter class="solr.KoreanPartOfSpeechStopFilterFactory"/>
      <filter class="solr.KoreanReadingFormFilterFactory"/>
      <!-- 소문자로 변형 -->
      <filter class="solr.LowerCaseFilterFactory"/>
    </analyzer>
 
  </fieldType>

 

question field dml field type 이 'text_ko'이기 때문에, question을 indexing한다면, question에 있는 내용들은 위의 본

tokenizer와 filter들을 통해 indexing 되게 됩니다.

 

solr에는 한글 말고도, 세계 각국의 언어들에 대해 analyzer를 지원해 주고 있습니다. 또한 문자인지, 숫자인지 , boolean타입인지도 다양하게 지원 해 주기 때문에 필요한 것을 맞춰 사용하면 됩니다.

 

(사실 최근 업데이트부터 한글을 기본으로 지원해 주었습니다..! 그래서 일이 훨씬 간단해졌습니다. 만세😆)

Indexing 과 검색

solr에서는 **'검색이 될 데이터'** 와 **'검색어'** 둘다 analyze 과정을 거칩니다.

방금 사용한 analysis 메뉴에서 왼쪽 입력창은 '검색이 될 데이터', 오른쪽 입력창은 '검색어'를 입력하는 부분입니다.

참고로 text_ko filedType 은 검색될 데이터 와 검색어에 동일한 analyzer를 적용했지만

<analyzer type = "query">...</analyzer>
<analyzer type = "index">...</analyzer>

위의 코드처럼 쿼리와 인덱스 할 때의 analyzer를 분리하는 것 도 가능합니다.

검색될 데이터와 검색어가 analyzer를 거치는 과정은 analysis 메뉴에서 확인이 가능합니다.

 

 

왼쪽은 '안녕하세요 저는 커피를 좋아해요'를 indexing한 결과이고, 오른쪽은 '커피기계'를 검색한 모습입니다.

 

최종적으로

'안녕하세요 저는 커피를 좋아해요'라는 문장은 **'안녕|커피|좋'** 토큰으로 인덱싱이 되었고,

커피기계는**'커피|기계'**라는 토큰으로 나누어 졌습니다.

 

커피기계안에 '커피'라는 토큰이 있기 때문에, '커피기계'를 검색하면 '안녕하세요 저는 커피를 좋아해요'라는 검색결과

까지 나오게 됩니다.

검색 방법

이렇게 indexing된 데이터를 검색하는 방법은 아주 쉽습니다.

solr서버에 http 요청을 보내면 solr서버는 json형태로 응답을 보내주게 됩니다.

 

DB서버에 쿼리를 요청해서 응답을 받아오는 것 처럼 말이죠.

 

또한 직접 쿼리를 작성 할 필요 없이 localhost:8983/#/[core name] 에서 query 메뉴의 오른쪽 윗 부분을 보면 쿼리를 알려줍니다.

 

아래 캡쳐 화면은 query 메뉴 화면입니다. 화면의 오른쪽 위에 보이는 url 쿼리 역할을 하게 됩니다.

이 url을 주소창에 입력하면

 

동일한 결과가 나오는 것을 알 수 있습니다.

 

만약 python을 사용한다면,

response = requests.get(URL).json()

을 통해 간단히 response 를 받아 올 수 있습니다.

 

solr의 쿼리는 **이런것도 돼?** 싶을 만큼 다양한 쿼리를 제공합니다.

(예를들어 한글자 다른 검색결과까지 포함시키거나, field(=column) 지정없이 모든 filed 에서 검색 등등)

다양한 쿼리에 대한 더 자세한 지식은 documentation을 읽어보면 알 수 있습니다.

 

solr의 다양한 query

추가

위에서 설명하지 않은 부분이 있습니다.

그래서 DB에서 데이터는 어떻게 가져오는거지?

solr 는 다양한 형식의 데이터를 지원합니다. 전통적인 RDB부터 jons, xml, NoSQL 등 다양한 방법을 지원합니다.

 

저는 그중 RDB와 solr를 연동하였고, 아래 블로그를 참고하여 도움을 받았습니다.

 

[주의] : 한글이라면 DB의 인코딩 방식에 유의해야합니다.

 

도움을 받은 블로그

이 외에 다양한 데이터 형식을 불러오는 방법은 documentation에 설명이 되어있습니다.

 

다양한 데이터 형식 가져오기

👍