Notice
Recent Posts
Recent Comments
ยซ   2024/09   ยป
์ผ ์›” ํ™” ์ˆ˜ ๋ชฉ ๊ธˆ ํ† 
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30
Tags more
Archives
Today
Total
๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋ก์ „์ฒด ๊ธ€ (127)

๐ŸŒฒ์ž๋ผ๋‚˜๋Š”์ฒญ๋…„

2019-10-30(์ˆ˜)

์˜ค๋Š˜ ํ•œ ์ผ ์ฒ˜์Œ์œผ๋กœ ํŒŒ์ด์ฌ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๋ฌธ์ œ๋ฅผ ํ’€์–ด๋ณด์•˜๋‹ค. ํ”„๋กœ๊ทธ๋ž˜๋จธ์Šค์˜ ์™„์ฃผํ•˜์ง€ ๋ชปํ•œ ์„ ์ˆ˜ ๋ฌธ์ œ๋ฅผ ํ’€์–ด๋ณด์•˜๋‹ค. ์ฝ”๋“œ๋Š” ๋ธ”๋กœ๊ทธ์— ์˜ฌ๋ ธ๋‹ค. collections ๋ผ๋Š” class ์— ๋Œ€ํ•ด ๊ณต๋ถ€ํ•˜์˜€๋‹ค. ์›๋ž˜ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ณต๋ถ€๋Š” ์ž๋ฐ”๋กœ ํ–ˆ๋Š”๋ฐ, ์ž๋ฐ”๋ฅผ ์ด์šฉํ•˜๋Š” ๊ฒƒ ๋ณด๋‹ค ํŒŒ์ด์ฌ์ด ์ข‹์•„์„œ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ณต๋ถ€ ์–ธ์–ด๋ฅผ ๋ฐ”๊ฟ”๋ณด๋ ค๊ณ  ํ•œ๋‹ค. ์ฑ—๋ด‡ ๊ฐœ๋ฐœ ๊ณ„์†๋˜๋Š” ์ฑ—๋ด‡ ๊ฐœ๋ฐœ.. ์ €๋ฒˆ์ฃผ ๊ธˆ์š”์ผ์— ์‚ฌ๋‚ด ํŒ€ ํ…Œ์ŠคํŠธ๋ฅผ ๊ฑฐ์ณค๊ณ , ๊ฑฐ๊ธฐ์„œ ๋‚˜์˜จ ํ”ผ๋“œ๋ฐฑ ๋ฐ”ํƒ•์œผ๋กœ ์ˆ˜์ •ํ•˜์˜€๋‹ค. ํŒŒ์ด์ฌ ํ”„๋กœ๊ทธ๋žจ์œผ๋กœ ํด๋ž˜์Šค ์ž‘์„ฑ์„ ์ฒ˜์Œ ํ•ด ๋ณด์•˜๋‹ค. ํŠœํ† ๋ฆฌ์–ผ ๋ง๊ณ , ์ง„์งœ๋กœ ๋‚ด๊ฐ€ ํ•„์š”ํ•œ ํด๋ž˜์Šค ์‘๋‹ต ๋ฉ”์„ธ์ง€๋ฅผ json ๋นŒ๋“œ ํ•ด์ฃผ๋Š” ํด๋ž˜์Šค๋ฅผ ๋งŒ๋“ค์—ˆ๋‹ค. ํŒŒ์ด์ฌ์—์„œ json๋‹ค๋ฃจ๋Š” ๋ฐฉ๋ฐฅ์— ๋Œ€ํ•ด ๊ณต๋ถ€ํ•˜์˜€๋‹ค. ์•„๋ฆ„๋‹ค์šด ์ฝ”๋“œ ํ…Œ์ŠคํŠธ๋ฅผ ๊ฑฐ์น˜๋ฉฐ ํ”ผ๋“œ๋ฐฑ์„ ๋ฐ˜์˜ํ•˜๋Š” ๊ฒธ ํ•ด์„œ, ๋งˆ์Œ์— ์•ˆ๋“œ๋Š” ์ฝ”๋“œ๋ฅผ ..

Today I Learnd 2019. 10. 30. 10:39
solr ํ•œ๊ธ€ ๋™์˜์–ด ์ฒ˜๋ฆฌ ์œ ์˜์ 

solr ํ•œ๊ธ€๋™์˜์–ด ์ฒ˜๋ฆฌ ์œ ์˜์  ์ด ๊ธ€์€ ์•ž์˜ solr๊ฒ€์ƒ‰์—”์ง„์˜ ์ „์ฒด์ ์ธ ํ๋ฆ„์„ ์ฝ๊ณ  ๋‚˜๋ฉด ๋” ์ •ํ™•ํ•˜๊ฒŒ ์ดํ•˜ํ•˜์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋™์˜์–ด ์ฒ˜๋ฆฌ ๋ฐฉ๋ฒ• solr๋Š” ๋™์˜์–ด ์ฒ˜๋ฆฌ๋ฅผ analyzer ์˜ ํ•„ํ„ฐ๊ธฐ๋Šฅ์ค‘์˜ ํ•˜๋‚˜๋กœ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์•„๋ž˜ "text_ko" ํƒ€์ž…์˜ ํ•„๋“œํƒ€์ž… ์ •์˜ ๋ถ€๋ถ„์—์„œ ๋ณด๋ฉด anaylzer ์•ˆ์— tokenizerํ•˜๋‚˜์™€ filter ์—ฌ๋Ÿฌ๊ฐœ๊ฐ€ ์žˆ๋Š”๋ฐ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Colored by Color Scripter cs filter ์ค‘์— 1 cs ์ด ํ•„ํ„ฐ์ด ๋ฐ”๋กœ ๋™์˜์–ด(synonyms)๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ถ€๋ถ„์ž…๋‹ˆ๋‹ค. ์ด ํ•„ํ„ฐ๋Š” synonyms.txt ํŒŒ์ผ์„ ์ฐธ์กฐํ•˜์—ฌ ๋™์˜์–ด ์ฒ˜๋ฆฌ๋ฅผ ํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ์ด ํŒŒ์ผ์˜ ์œ„์น˜๋Š” conf/synonyms.txt ์ž…๋‹ˆ๋‹ค. ๋™์˜์–ด ์ฒ˜๋ฆฌ ..

๊ฒ€์ƒ‰์—”์ง„ 2019. 10. 25. 11:19
solr ๊ฒ€์ƒ‰์—”์ง„์˜ ์ „์ฒด์ ์ธ ํ๋ฆ„

solr ๊ฒ€์ƒ‰์—”์ง„์˜ ์ „์ฒด์ ์ธ ํ๋ฆ„ solr ๋Š” ๋ฌด์—‡์ธ๊ฐ€ solr ๋Š” ๋ผ๊ณ  ๊ณต์‹ ํ™ˆํŽ˜์ด์ง€์— ๋‚˜์™€์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์ œ๊ฐ€ ์‚ฌ์šฉํ•ด ๋ณธ solr๋Š” search๊ธฐ๋Šฅ๊ณผ indexing๊ธฐ๋Šฅ์ด ์•„์ฃผ ์ž˜ ๋˜์–ด์žˆ๋Š” ๋˜๋‹ค๋ฅธ DB๋ผ๋Š” ์ƒ๊ฐ์ด ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค. solr์—๋„ DB์ฒ˜๋Ÿผ ์ฟผ๋ฆฌ, index, table, column์ด ์žˆ๊ณ  ์ด๊ฒƒ๋“ค์€ DB์˜ ๊ฐœ๋…๊ณผ ์œ ์‚ฌํ•˜๊ฒŒ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. solr์˜ ์ „์ฒด์ ์ธ ํ๋ฆ„ Analyzer, Tokenizer, Filter solr์— ๊ฒ€์ƒ‰์–ด๊ฐ€ ๋“ค์–ด์˜ค๊ฑฐ๋‚˜, ์ €์žฅํ•ด์•ผ ํ•  ๋ฐ์ดํ„ฐ๊ฐ€ ๋“ค์–ด ์˜จ ๊ฒฝ์šฐ tokenํ™”(ํ˜•ํƒœ์†Œ ๋ถ„๋ฆฌ) -> ํ•„ํ„ฐ ์˜ ๊ณผ์ •์„ ๊ฑฐ์น˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ์•„๋ž˜ ์ฝ”๋“œ๋Š” ์ด๋Ÿฌํ•œ ์ผ๋ จ์˜ tokenizer์™€ filter๋ฅผ ์„ค์ •ํ•˜๋Š” ๋ถ€๋ถ„์ด๊ณ  ๊ฐ core์˜ *conf/managed-shema* ์—์„œ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. (..

๊ฒ€์ƒ‰์—”์ง„ 2019. 10. 25. 10:58
10์›” 16์ผ (์ˆ˜)

์˜ค๋Š˜ ํ•œ ์ผ ํŒŒ์ด์ฌ์œผ๋กœ ํฌ๋กค๋ง ์ฑ—๋ด‡์— ํฌ๋กค๋ง ํ•œ ๊ธฐ๋Šฅ์„ ๋„ฃ์„ ์ผ์ด ์žˆ์–ด์„œ(์‹œํ—˜ ์ผ์ •) ํฌ๋กค๋ง์„ ๊ณต๋ถ€ํ–ˆ๋‹ค. beautiful soup๊ณผ, selenium ํŠœํ† ๋ฆฌ์–ผ์„ ๋ณด๊ณ  ๋”ฐ๋ผํ•ด ๋ณด์•˜๋‹ค. ํŠœํ† ๋ฆฌ์–ผ์„ ๋”ฐ๋ผ ํ•  ๋•Œ๋Š” ๊ทธ๋ƒฅ ์ž˜ ์‚ฌ์šฉ์ด ์ž˜ ๋˜์—ˆ๋Š”๋ฐ, ์ง์ ‘ ์ ์šฉํ•ด ๋ณด๋ ค๋‹ˆ๊นŒ ์ž˜ ๋˜์ง€์•Š์•˜๋‹ค. ํŠนํžˆ ajax๋ฅผ ์‚ฌ์šฉํ•ด์„œ html์ฝ”๋“œ ์ž์ฒด์— ์ •๋ณด๊ฐ€ ์—†๋Š” ๊ฒฝ์šฐ๊ฐ€ ์žˆ์—ˆ๋‹ค. ์›นํŽ˜์ด์ง€์ฝ”๋“œ๋ฅผ ๋‹ค์šด๋ฐ›์•„์„œ ์ผ์ผ์ด ์ฝ์–ด๋ณด๋ฉฐ ์‹ค์ œ ์ •๋ณด๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ๋Š” url์„ ์ฐพ์•„ ๋ƒˆ๋‹ค . ์ž๋ฐ”์Šคํฌ๋ฆฝํŠธ๋ฅผ ์‚ฌ์šฉํ–ˆ๊ธฐ ๋•Œ๋ฌธ์—, ์ฐพ๊ธฐ๊ฐ€ ์–ด๋ ค์› ์—ˆ๋‹ค. ๊ทธ ๋’ค๋กœ๋Š” ์ž˜ ๋˜์—ˆ๋‹ค. ๋ฆฌ๋ˆ…์Šค ๋งˆ์Šคํ„ฐ partition์— ๋Œ€ํ•ด ๊ณต๋ถ€ํ–ˆ๋‹ค.

Today I Learnd 2019. 10. 16. 18:49