본문 바로가기
카테고리 없음

가상화페 가격 크롤링

by ByteBridge 2018. 1. 28.
반응형



거래소 요청 url 분석

[UpBit 데이터 가져오기]
- to 를 기준으로 과거 count 개수 만큼 가져오기 (날짜 기준)
https://crix-api-endpoint.upbit.com/v1/crix/candles/days?code=CRIX.UPBIT.KRW-BTC&count=1&to=2018-01-01 00:00:00

- to 를 기준으로 분단위로 과서 count 개수 만큼 가져오기 (시간기준)
https://crix-api-endpoint.upbit.com/v1/crix/candles/minutes/60?code=CRIX.UPBIT.KRW-BTC&count=10&to=2018-01-01 00:00:00

- to 를 기준으로 과거 count 개수 만큼 가져오기 (주 단위)
https://crix-api-endpoint.upbit.com/v1/crix/candles/weeks?code=CRIX.UPBIT.KRW-BTC&count=2&to=2018-01-01 00:00:00

- to 를 기준으로 과거 count 개수 만큼 가져오기 (월 단위)
https://crix-api-endpoint.upbit.com/v1/crix/candles/months?code=CRIX.UPBIT.KRW-BTC&count=2&to=2018-01-01 00:00:00



기능 구현

- get_mongo_db
mongodb 연결 정보를 가져온다.
params:
1. host
2. port
3. db_name
- insert_data_to_mongo
데이터를 bulk 방식으로 insert 한다.
params:
1. db_name (거래소 이름이 된다)
2. collection (currency_code 가 된다.)
3. data (json array )
- make_url_for_upbit
데이터 요청 사이클에 따라 요청할 url 을 만들어준다.
- get_data_from_upbit
업비트 거래소로부터 데이터를 가져온다.
- send_request
실제 거래소에 데이터를 요청 하도록 한다.



전체 소스

https://github.com/Gavinkim/currency_crawler

반응형