🌲자라나는청년

오늘 한 일 챗봇 기능 구현 완료 내가 보기에는 이정도면 버젼1 정도는 되겠다 싶은 챗봇이 나왔다. 크롤링해서 정보 가져오는 것 완료. 크롤링을 써 보고싶었는데 타의지만 사용하게 되어 좋았다. 예외처리, 로그저장을 하였다. 리눅스 마스터 그리고 집가서 리눅스 마스터 계속 공부

오늘 한 일 파이썬으로 크롤링 챗봇에 크롤링 한 기능을 넣을 일이 있어서(시험 일정) 크롤링을 공부했다. beautiful soup과, selenium 튜토리얼을 보고 따라해 보았다. 튜토리얼을 따라 할 때는 그냥 잘 사용이 잘 되었는데, 직접 적용해 보려니까 잘 되지않았다. 특히 ajax를 사용해서 html코드 자체에 정보가 없는 경우가 있었다. 웹페이지코드를 다운받아서 일일이 읽어보며 실제 정보를 가지고 있는 url을 찾아 냈다 . 자바스크립트를 사용했기 때문에, 찾기가 어려웠었다. 그 뒤로는 잘 되었다. 리눅스 마스터 partition에 대해 공부했다.

오늘 한 일 리눅스 마스터 공부(책 구매) 리눅스 마스터를 공부하기 위한 이기적 리눅스 책이 도착했다. 책을 읽어보며 리눅스를 공부하고 있다. 책이 깔끔하게 잘 정리되어있어서, 보기에 편했다. 챗봇 개발 계속 챗봇 개발중이다. 파이썬 자체에 대한 공부도 하고, 검색하면서, 파이썬의 특징들을 알아가고 있다.

오늘 한 일 모듈에 대한 깨우침 상속이라는 개념을 배우기만 했을 때는 이해하지 못했었는데, 파이썬 코드를 계속해서 짜 보면서 뭔가 알 것 같다. 리눅스 마스터 2급 준비 리눅스 환경에서 개발하고 싶어서 가상머신을 열심히 썼었는데, 쓰다보니, 리눅스에 대한 무지가 밀려왔다. 그래서 몇일 전부터 리눅스 마스터 2급 필기를 준비하면서 공부하고 있다. 기출문제를 중심으로 준비하고 있는데, 사람들이 쉽다고했는데 전혀..? 공부를 꽤 해야하는 시험인 것 같다. 계속되는 개발 챗봇을 계속 만들고 있다. 지금은 디비에서( 자세히말하면 검색엔진)에서 정보를 가져온것을 가공하고, 챗봇에서 구현하기에 생각보다 복잡한 알고리즘을 구현중이다. 빨리 다음기능인 크롤링을 해보고 싶다.

오늘 한 일 python anywhere에서 개발하고 있던 챗봇을 local로 옮겼다. python anywhere를 이용하면 도메인과, 호스팅을 아주 쉽게 할 수 있지만 속도가 너무 느렸고, 개발하기에 터미널 창 보는것도 불편했고, 12월에 무료이용이 끝이났다. python anywhere 대신에 ngrok를 이용하여 임시로 호스팅을 하면서 챗봇을 만들고 있다. 매일 인터넷 주소를 바꿔주는게 귀찮을 것 같다. solr검색엔진, 새로운 디비 등록 이제 solr는 크게 어렵지 않다. 한글 인코딩 문제를 해결하고, tutorial 과 documentation을 꼼꼼하게 읽고 사용하였더니, 맨땅에 해딩하는게 아니라, 뭔가를 알고 하는 느낌 documentation과 tutorial을 무시하지말자 python챗..

한글 검색이 잘 되는 solr엔진이 드디어 구축되었다ㅠㅠ 오늘 한 일 nori형태소 분석기를 가진 solr검색엔진 구축 완료(+불용어 사전 업로드) db에 한글 인코딩 문제가 있었었다, 그게 문제였다.. 그 밖에 이런저런 시도를 해본다고, solr내부의 설정파일들을 꼬이게 만든것도 문제였다. 남은 시간에는 카카오 챗봇 서버 계속 개발 이전에 있던 코드를 받아서 진행중인데, 파이썬 코드가 모듈화가 잘 되어있지 않아서 정리하면서 코딩중 pythoneverywhere라는 무료 서버 대여..? 플랫폼에서 임시로 만들고 있었는데 조만간 로컬로 이사해야할듯

오늘 한 일 DB와 SOLR를 연결하기 위해 노력했다. virture machine에서 하고 있었는데, 방화벽 문제인건지, 무슨 문제인진 모르겠지만, 포트를 열어주고, msyql이것저것 설정해줘도, solr와 mysql을 연결 해 주려고 할 때, root에게 권한이 없다는 에러메세지가 나왔다. 연결하려던 DB는 로컬에 임시로 만들어 본 것이라 실제 다른 서버에 있는 DB와 solr를 연결하니 잘 되었다. Indexing 연결 된 DB를 indexing해 보았다. field, fieldtype에 대한 이해가 없었는데, 이것 저것 검색해보고, documentation을 읽어보면서 filed는 DB의 column, FieldType 은 String, Int 처럼 변수의 type인데 type 안에 Tokeniz..

오늘 한 일 MYSQL에 SOLR를 붙이려고 노력했으나, 실패.. 계속 해봐야지.. SOLR, RDB 연동 관련 documentation리딩, 정리