🌲자라나는청년

요즘 한 일 데이터 전처리 딥러닝 어린이에게 찾아온.. 데이터 전처리라는 시련.. 내가 하고 있는 졸업과제는 이미 그전에 하던 분이 데이터 전처리를 완료해 두셔서, 정데된 데이터를 딥러닝 모델에 알맞게 넣기만 하면 됐었다. 그러나 최근에 새로운 데이터를 사용해 보자는 의견이 나왔고, 데이터 전처리를 하게 되었다. 전처리 하면서 겪은 문제는 다음과 같다. NAN이면 안될자리에 자꾸 튀어나오는 NAN(왜지? 여기서 왜??) 셔플조차 조심히 해야하는 나의 상황(자세히 말하자면 input으로 넣어야 하는 파일이 두개인데 두개인데, 둘다 반드시 "동일한 index"로 셔플이 되어야 했다.) 노트북으로 작업중인데 버거워하는 나의 gram.. 최대한 이전 데이터파일과 형식을 맞춰본다고 맞춘건데 모델이 넣어보니까 달랐..

요즘 한 일 데이터 전처리 코드 딥러닝 연구에 있어서, 새롭게 input을 추가해야할 일이 있어서, 형식에 맞게 데이터를 전처리 하는 과정을 하게 되었다. 받은 데이터는 일단 연습용으로 2년간 모인 KOSPI의 종가와 시가 데이터를 받았고, 이전에 이 프로젝트를 하고 계시던 분께 데이터 전처리 코드를 받았다. 지금 개발하는 모델은 모델이 급성주인지, 아닌지를 판단하는 모델인데, 데이터 전처리를 통해 전체 주가 데이터에서 급성주인 데이터만 추출 해내는 것이 목표였다. (급성주의 기준은 20일 이내에 40% 이상 상승하는 것을 급성주라 정의했다) 기존의 코드에서는 종가 데이터만 보고 종가가 급성장 하는 부분을 추출해 내는 방식을 사용하였다. 하지만 이번에는, 인풋값에 종가 뿐만 아니라, 시가 , 최고, 최저..

요즘 한 일 인턴이 끝난지 어언.. 3개월. 엄청난 보상심리에 빠져 인생 최대 게으름과 힐링 그 사이 어딘가를 맛보다 겨우 부지런해지고 싶다는 마음이 들었으나, 코로나 사태로 집 안에만 있게 되어버린 요즘! 한 일 1. 졸업 프로젝트 진행📃 - 포항에 남아 있으면서 졸업 연구를 시작하게 되었다. 딥러닝으로 주가예측과 관련된 프로젝트를 하고 있다. 딥러닝을 공부해본지 얼마 되지 않아서 꽤 부담이 된다. - RNN, DNN모델을 만들어 보았고, 이것저것 파라미터를 바꾸면서 실험중. 그런데 데이터 자체가 살짝 아쉽다. 크기가 좀 작은것 같기도 하고, 정확하게 분류가 되어있지 않은 느낌 ㅠㅠ 2. 특허 완료💰🧾 - 정말 오래오래 해 오던 특허가 드디어 끝나고 필요한 서류를 모두 제출했다 - 특허를 제출하는 경험..

요즘 한 일 12월, 크리스마스를 앞두고 인턴이 끝난 뒤, 원룸에서 이사를 하고 혼자 대만에 여행도 가고, 본가에 내려와서 잘 쉬고 잘 먹었다. 그 와중에도 이런저런 공부와 활동을 했는데, 요약! 대경권 빅데이터 활용 대회 최우수상! 사용한 기술, 공부한 것 : django 웹 프레임워크, python, kakao 지도api사용 방법, javasciprt기초 github : https://github.com/dlwlgus53/mangmo 약 3개월의 기간동안 대경권 빅데이터 활용 대회에 참가했었다. 공공 데이터를 활용해서 "무언가"를 만들어 내는 대회였다. 우리팀은, 공공데이터 포털의 시설물 정보와 카카오 맵 api 를 이용해서 이사 갈 지역의 시설물 정보를 미리 검색해 볼 수 있는 웹을 만들었다. 그 ..

오늘 한일 오늘 한일이긴 하지만, 요즘 바빠서 못썼으므로.. 요즘 한 일 공모전 참가 (11월8일) 대경권 공공데이터 활용 경진대회 공모전이 열렸다. 마감 이틀전에 급하게 참가해서 기획안을 만들어서 제출했는데, 예선통과하게 되었다.(총10팀) 공공 데이터를 이용해서 아이를 키우기 좋은 위치를 찾아주는 웹페이지를 구상하였다. 마감기한이 1월달이므로, 아직 구현할 시간은 많이 남았지만, 쉽게 구현할 수 있을까..? 멋쟁이 사자처럼 해커톤 참가 (11월9일,10일) 생에 첫 해커톤을 참가해 보았다. 느낀점은.. 역시 나는 밤새는 체질이 아니라는 것 ㅠㅠ 프론트엔드로 참가하였다. 그래서 미리 부트스트랩+장고를 공부 해 갔다. 배운것이 많았다. 단시간내에 무언가를 만들어 내야 한다는 압박감..? 때문에 두뇌를 열..

오늘 한 일 챗봇에 검색어 추천기능 구현 챗봇에 검색어를 추천해 주는 기능을 달았다. SOLR는 '~n' 처럼, 쿼리문에 ~ 표시를 추가하면 거리가 n인 검색어까지 포함해서 찾아준다. 챗봇에서 검색결과가 나오지 않으면, ~ 검색을 실행해서, 검색결과를 추천해 줄 수 있게 만들었다. 챗봇에 특수 문자 처리 검색엔진에서 ], [ 같은 예약어가 쿼리로 들어가면 검색이 되지않는 오류를 발견했다. 검색어에 위와같은 예약어들은 삭제를 해서 없에주었다. AWS온라인컨퍼런스 참가 AWS에 대해서 공부하고 싶었는데, 그동안 미루다가 기초적인 사용방법에 대한 온라인 세션이 열린다고 해서 참석해 보았다. 강의는 아래와 같은 순서로 진행되었다. 1. AWS클라우드 소개 2. 클라우드 시작하기 3. 클라우드 구축하기 4. 클라..

오늘 한 일 로그 공부 파이썬 로그 다는 것에 대해서 공부했다 logging 모듈이 있었는데, 이걸 공부했다 로그다는것 자체를 공부하는건 처음이었는데, 생각보다 내용이 깊고 기능도 많았다. 로그가 부모자식 구조가 있을 줄이야..! 로그달기 내 프로그램에 로그를 달려고 노력해 보았다. 그러나 최적의 위치 찾기가 쉽지 않았다.

오늘 한 일 처음으로 파이썬 알고리즘 문제를 풀어보았다. 프로그래머스의 완주하지 못한 선수 문제를 풀어보았다. 코드는 블로그에 올렸다. collections 라는 class 에 대해 공부하였다. 원래 알고리즘 공부는 자바로 했는데, 자바를 이용하는 것 보다 파이썬이 좋아서 알고리즘 공부 언어를 바꿔보려고 한다. 챗봇 개발 계속되는 챗봇 개발.. 저번주 금요일에 사내 팀 테스트를 거쳤고, 거기서 나온 피드백 바탕으로 수정하였다. 파이썬 프로그램으로 클래스 작성을 처음 해 보았다. 튜토리얼 말고, 진짜로 내가 필요한 클래스 응답 메세지를 json 빌드 해주는 클래스를 만들었다. 파이썬에서 json다루는 방밥에 대해 공부하였다. 아름다운 코드 테스트를 거치며 피드백을 반영하는 겸 해서, 마음에 안드는 코드를 ..