싱싱한 데이터(= 정제 되지 않은...)를 받았을 때 유의점

서론

나의 졸업과제 주제는 '주가 예측'이다.
딥러닝으로 구현만 할 수있다면, 엄청난 부자가 될 수 있는 주제지만, 대부분의 관련 논문에서는 주식은 변수가 많아서 예측이 어렵다는 말이 많았다.

어찌되었든, 주가의 상승을 예측하는 과제를 하게 되었고, 가장 큰 난관은.. 데이터 가공이었다.

이번 글에서는 내가 그야말로 싱싱한 데이터.. 를 받게 되었을 때 한학기동안의 삽질을 통해 얻게된 지식을 기록해 보고자 한다.

---

얻게된 지식

1. Domain(데이터를 준 사람들의 분야의 지식)을 알기

 

프로젝트를 시작할 때만 해도 거의 주식에 문외한인 주알못 이기 때문에, 회사에서 준 데이터를 그냥 최소한의 가공만 해서, 모델에 넣었다. 그러나, 그러기 이전에 Domain에 대한 최소한의 공부는 선행이 되었어야 한다. (나는 급하게 지식을 습득하기 위해, 주식 관련 만화책을 읽었었다.)

한참 받은 데이터로 학습을 했을 때, 주 잘알(주식을 잘아는 사람) 이 데이터를 보더니 알려줬다. 데이터가 말이 안되는 부분이 있다고..

뭐라구요..?

알고보니 주식이 하루에 6000% 정도 뛰는 데이터들이 꽤 있었고, 이는 현행법상 불법이었다. 이러한 주식들은, 금융위원회에서 구매를 막았다가, 구매를 가능하게 했을때 갑자기 이렇게 급등 하는 경우가 있다고 한다..

이러한 불연속성 때문에 주식시장에서는 '수정주가' 라는 것을 사용해서 분석하는데에 쓴다고 하는데, 그걸 몰라서, 그냥 주가를 사용하고 있었다. 만약 '수정주가'를 알았다면 처음부터 결과도 더 잘나오고 좋았겠지..ㅠㅠ

어찌되었든, 받은대로 그냥쓰면 안되고, 단순히 이상치를 제거하고 정규화를 하는 것 뿐만 아니라, 각 변수의 진짜 의미도 깊게 생각해 보아야 한다는것, 그 영역에 대한 공부도 해야한다는 것을 느꼈다.

 

2. 시계열 데이터의 정규화

이 문제도 한참 데이터 가공 후, 실험을 하고나서 알게 된 문제이다. 

주식을 잘 아는 학생에게 우리 실험결과를 보여줬더니, 이틀을 입력받았는데 정확도가 80%는 말이 안된다.. 라고 했었다.

뭐라구요.......?

사실 그게 맞는 말이었다. 

어디에 문제가 있나 살펴보았는데, 시계열 데이터를 minmax normalize하고 있었다. 다시 말해, 미래의 최고가를 알고 정규화를 하고 있었기 때문에, test에서 cheating이 일어나고 있었다.

이 부분을 다시 성장률로 정규화를 하였고, cheating문제를 해결 할 수 있었다.

3. 미니데이터로 미리 해보기

데이터 가공 코드를 다 짰다면, 지금 가지고 있는 방대한 양의 데이터의 미니버젼을 만들어서 테스트 해보는것이 꼭 필요하다.
미니 데이터만들기 귀찮아서 안했다가, 디버깅하는데 시간이 어마어마하게 걸린적이 있다. 꼭 미니데이터로 만들고 테스트 하기!

4. 중간중간 저장하기

파이썬은 '피클'(pkl)이라는 binary 파일 형태로 데이터를 저장하는 것이 가능하다.

피클이라니, 귀여워

피클 파일은 일반 파일보다 훨씬 load속도가 빨라서, 대용량 파일을 저장하는데 유리하다.

커다란 데이터를 다룰때 이 피클 파일은 애용하는데

def save_obj(obj, name ):
    with open('./obj/'+ name + '.pkl', 'wb') as f:
        pickle.dump(obj, f, pickle.HIGHEST_PROTOCOL)
 
def load_obj(name ):
    with open('./obj/' + name + '.pkl', 'rb') as f:
        return pickle.load(f)
 
if __name__ == "__main__":
    datas = dataload_origin()
    save_obj(datas, "0526regression1")
    datas = check_same(datas)
    save_obj(datas, "0526regression2")
    get_statics(datas)
    datas = shuffle(datas)
    save_obj(datas, "0526regression3")
    datas = add_ratios(datas)
    save_obj(datas, "0526regression4")
    datas = norm(datas)
    save_obj(datas, "0526regression5")
    datas = addLabel(datas)
    save_obj(datas, "0526regression6")
    save(datas)
 
 
 

5. 재사용 가능한 코드

ㅈㅅㅇ

데이터가 한번만 들어오면 한번 가공하고 끝~ 이라고 생각했지만, 프로젝트 내내 데이터가 새로 들어왔다. (으악)

그렇기 때문에 '일단돌아가는 코드'로 짜는게 아니라, 누가봐도 쉽고, 논리정연하고 깔끔한 코드를 짜는것이 정신에 이롭다 :)

 

---

약 반년동안 익힌 데이터 가공 기술을 정리해 보았다.

엄청난 기술은 아니지만 처음 커다란 데이터를 받아 당황스러운 누군가에게, 그리고 습득한 기술들을 까먹을 미래에 나에게 이 글이 유용하게 사용되었으면 좋겠다