🌲자라나는청년

오늘 한 일 파이썬으로 크롤링 챗봇에 크롤링 한 기능을 넣을 일이 있어서(시험 일정) 크롤링을 공부했다. beautiful soup과, selenium 튜토리얼을 보고 따라해 보았다. 튜토리얼을 따라 할 때는 그냥 잘 사용이 잘 되었는데, 직접 적용해 보려니까 잘 되지않았다. 특히 ajax를 사용해서 html코드 자체에 정보가 없는 경우가 있었다. 웹페이지코드를 다운받아서 일일이 읽어보며 실제 정보를 가지고 있는 url을 찾아 냈다 . 자바스크립트를 사용했기 때문에, 찾기가 어려웠었다. 그 뒤로는 잘 되었다. 리눅스 마스터 partition에 대해 공부했다.

오늘 한 일 리눅스 마스터 공부(책 구매) 리눅스 마스터를 공부하기 위한 이기적 리눅스 책이 도착했다. 책을 읽어보며 리눅스를 공부하고 있다. 책이 깔끔하게 잘 정리되어있어서, 보기에 편했다. 챗봇 개발 계속 챗봇 개발중이다. 파이썬 자체에 대한 공부도 하고, 검색하면서, 파이썬의 특징들을 알아가고 있다.

오늘 한 일 모듈에 대한 깨우침 상속이라는 개념을 배우기만 했을 때는 이해하지 못했었는데, 파이썬 코드를 계속해서 짜 보면서 뭔가 알 것 같다. 리눅스 마스터 2급 준비 리눅스 환경에서 개발하고 싶어서 가상머신을 열심히 썼었는데, 쓰다보니, 리눅스에 대한 무지가 밀려왔다. 그래서 몇일 전부터 리눅스 마스터 2급 필기를 준비하면서 공부하고 있다. 기출문제를 중심으로 준비하고 있는데, 사람들이 쉽다고했는데 전혀..? 공부를 꽤 해야하는 시험인 것 같다. 계속되는 개발 챗봇을 계속 만들고 있다. 지금은 디비에서( 자세히말하면 검색엔진)에서 정보를 가져온것을 가공하고, 챗봇에서 구현하기에 생각보다 복잡한 알고리즘을 구현중이다. 빨리 다음기능인 크롤링을 해보고 싶다.

오늘 한 일 블로그에 인턴 합격기 정리 리눅스 마스터 2차 필기 일정 알아보고, 시험 방식 알아보고, 2개년 기출문제 인쇄 다들 쉽다고 했는데 OS수업 들었음에도 모르는 부분이 많았다. 공부해야겠다.. 지리데이터 시각화 공부 학교에서 데이터 시각대회가 열리는데 참고할만한 강의가 있어서 공부를 해 보았다. 캐글에서 진행하는 TEXT강의이고, 한 lesson마다 내가 실습해 볼 수 있는 부분이 있어서 좋았다. 강의 2개를 진행하였다. https://www.kaggle.com/learn/geospatial-analysis Geospatial Analysis Create interactive maps, and discover patterns in geospatial data www.kaggle.com

오늘 한 일 python anywhere에서 개발하고 있던 챗봇을 local로 옮겼다. python anywhere를 이용하면 도메인과, 호스팅을 아주 쉽게 할 수 있지만 속도가 너무 느렸고, 개발하기에 터미널 창 보는것도 불편했고, 12월에 무료이용이 끝이났다. python anywhere 대신에 ngrok를 이용하여 임시로 호스팅을 하면서 챗봇을 만들고 있다. 매일 인터넷 주소를 바꿔주는게 귀찮을 것 같다. solr검색엔진, 새로운 디비 등록 이제 solr는 크게 어렵지 않다. 한글 인코딩 문제를 해결하고, tutorial 과 documentation을 꼼꼼하게 읽고 사용하였더니, 맨땅에 해딩하는게 아니라, 뭔가를 알고 하는 느낌 documentation과 tutorial을 무시하지말자 python챗..

한글 검색이 잘 되는 solr엔진이 드디어 구축되었다ㅠㅠ 오늘 한 일 nori형태소 분석기를 가진 solr검색엔진 구축 완료(+불용어 사전 업로드) db에 한글 인코딩 문제가 있었었다, 그게 문제였다.. 그 밖에 이런저런 시도를 해본다고, solr내부의 설정파일들을 꼬이게 만든것도 문제였다. 남은 시간에는 카카오 챗봇 서버 계속 개발 이전에 있던 코드를 받아서 진행중인데, 파이썬 코드가 모듈화가 잘 되어있지 않아서 정리하면서 코딩중 pythoneverywhere라는 무료 서버 대여..? 플랫폼에서 임시로 만들고 있었는데 조만간 로컬로 이사해야할듯

오늘 한 일 DB와 SOLR를 연결하기 위해 노력했다. virture machine에서 하고 있었는데, 방화벽 문제인건지, 무슨 문제인진 모르겠지만, 포트를 열어주고, msyql이것저것 설정해줘도, solr와 mysql을 연결 해 주려고 할 때, root에게 권한이 없다는 에러메세지가 나왔다. 연결하려던 DB는 로컬에 임시로 만들어 본 것이라 실제 다른 서버에 있는 DB와 solr를 연결하니 잘 되었다. Indexing 연결 된 DB를 indexing해 보았다. field, fieldtype에 대한 이해가 없었는데, 이것 저것 검색해보고, documentation을 읽어보면서 filed는 DB의 column, FieldType 은 String, Int 처럼 변수의 type인데 type 안에 Tokeniz..

오늘 한일 오늘 정말 시행착오를 많이 겪었다 (검색 엔진과, 챗봇 사용자 분석방법 고민중) 가상머신 + ubuntu 우분투가 apt가 한국서버이면(? 정확히 뭐라고 설명해야할지..) 여튼 잘 안된다. 구글링을 하다가 영국 서버로 변경해 주었고, 그제서야 apt 명령어가 말을 들었다.(이 문제로 세상 오래걸렸다..) 우분투에mariadb가 잘 설치가 안된다, 무슨 패키지가 깨졌다고 자꾸 에러를 내던데, 아무리 재설치를하고.. 초기화를 하고 설치를 해도 안되더라.. 결국 mysql설치했다. MYSQL + SPHINX검색엔진 생각보다 괜찮았다. 그런데 가장 기본적인 MYSQL덤프(백업파일 불러오기) 가 잘 안되었다.. 그래서 일부 데이터만 수동으로 넣고 검색엔진을 사용 해 보았다. 연동은 다행히 잘 되었다.(..