ローカル環境でPythonスクレイピング、スプレッドシートへの接続、操作まで（備忘録）

1938 ワード
Selenium Python gspread Python テキストリンク

ローカルにPythonの仮想環境を構築してスクレイピングした時の備忘録

参考元

https://qiita.com/thatbin/items/3ebdfc415d0c30d2f8f6
https://qiita.com/m-masaki72/items/7ba34e31d9f08662f1ee
https://qiita.com/t-yama-3/items/a21999a7f5b3debf3ec7
https://tanuhack.com/operate-spreadsheet/
https://tanuhack.com/library-gspread/

本題

スクレイピング案件やるたびに忘れてググり直しているので、Python環境の構築からスクレイピング、取得データをスプレッドシートへ自動送受信操作まで行うために、どの記事をどの順番で読めばいいかまとめる。
いつもは google colaboratory でやっていたが、GitHub での管理のしやすさから始めてローカルに仮想環境を構築して行ってみた。

仮想環境の構築

https://qiita.com/thatbin/items/3ebdfc415d0c30d2f8f6
この通りにvirtualenvをインストールしてPython用の仮想環境を構築

https://qiita.com/m-masaki72/items/7ba34e31d9f08662f1ee
virtualenvはgitで管理すると便利なので、この記事通りに設定

スクレイピング設定

  1. https://qiita.com/t-yama-3/items/a21999a7f5b3debf3ec7

この記事に従って