回路設計者がデータサイエンス部署に飛んでいったブログ

子育てしか楽しみがありません、たすけて

JPX_先物手口のcsvを一括ダウンロード

毎日ザラ場や引け後の決算チェックお疲れ様です。

本日はオプション先物手口のcsvを一括ダウンロードするプログラムを紹介したいと思います。

※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※

※プログラム超絶初心者なので無駄だらけですけど気にしないでください※

※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※※

毎日ポチポチと下記サイトのcsvファイルをダウンロードしてたのですが、過去のデータを取ろうと思うとめんどくさくなり、かつ、過去のデータは1年分しか残らないみたいなので(今日気づいた)急いでダウンロードしておこうと思いました。(本日月末だからね★)もしよかったら使ってみてくださいね。Jupyter使えば誰でも簡単に動かせると思いますので気になった方はググってください!

www.jpx.co.jp

import requests
from urllib import request
from bs4 import BeautifulSoup
from urllib.parse import urljoin

base_url = 'https://www.jpx.co.jp/markets/derivatives/perticipant-volume/'

# URLの情報を取得
r = requests.get(base_url)
soup = BeautifulSoup(r.content)

for link in soup.findAll("a"):
    url = urljoin(base_url, link.get("href"))
    try:
        if "csv" in url: # "csv"を含むリンクを抽出
            request.urlretrieve(url, '../test/' + url.split('/')[-1])
            # '../test/' + url.split('/')[-1] には自分の保存したいファイル名と場所を記載
    except:
        print('クソ決算(泣)')