pyqt selenium 채권 정보 크롤링 (1): 데이터 수집 사이트 탐색

안녕하세요, 오늘 소개드릴 자동화는 셀레니움을 이용한 채권 정보 자동 수집입니다.

 

저의 경우, 채권 투자를 하고있는데요.

 

앱이나 사이트에서는 단순 채권 목록을 쭉 보여주는 것에 불과하거나, 제가 사용하지 않는 부가적인 기능이 많아 사용하기 불편했습니다.

 

그래서, 제가 자주 보는 정보 위주로 필터링하고 정렬하는 프로그램을 만들어 보겠습니다.

 

최종 결과물

 

우선, 채권 정보를 빠르고 쉽게 수집할 사이트를 선정합니다.

 

저는 신한투자증권 장내 채권 사이트를 선정했습니다.

(https://www.shinhansec.com/siw/wealth-management/bond-rp/590401/view.do)

 

채권명, 거래량, 수익률 정도를 빠르게 스키밍하고 재무재표를 볼 생각이었습니다. (신용등급, 만기일은 나중에 추가 고려대상)

 

신한투자증권 채권 목록

 

해당 사이트를 가만히 살펴보면, 스크를을 내릴 때마다 새로운 밑의 항목들이 리젠되는 구조로, 인스타그램 게시글이나 유튜브 댓글 목록과 비슷한 구조를 가지고 있습니다.

 

스크롤 내리면 리젠되는 구조

전체가 테이블 안에 한 번에 보여지지 않고, 사용자가 스크롤을 내리면서 새로운 채권 항목을 2,115개나 확인해야 합니다.

 

이 포스팅에서는 테이블 내에서 스크롤을 맨 아래로 내려 전체 항목을 보여지게 한 다음, 항목 전체를 가져오고 pyqt5를 이용해 프로그램을 만드는 것 까지 진행할 예정입니다.

 

다음 포스팅에서 만나보겠습니다.