pythonでスクレイピング+Google Spread Sheetに出力

2061 ワード
スクレイピング beautifulsoup4 googleapi Python GoogleSpreadSheet Python テキストリンク

背景

開発系の副業したいなあ

副業サイトで開発案件探してみよう～

お手軽そうなpythonでのツール開発（スクレイピング等を用いたデータ処理系）がよさそう！

案件を取るためにはポートフォリオ必要だなぁ

pythonを用いたツール系の案件はどんな特徴があるのかリサーチしてみよう～

そして案件を取るための最適なポートフォリオ作ろう！

ランサーズで
python ツール
で検索してみた。

特徴をまとめて分析するためにも、検索結果のタイトルの一覧をExcelとかでまとめたいなあ

スクレイピングして一覧化しよう～

Yes, Let's scraping!

スクレイピング実行環境

利用言語 Python 3.7.0
利用パッケージ Beautiful Soup4
参考サイト

作成したツールのソースはこちら

つまったところ

html = requests.get(url)

HTTP403エラーが生じます

headerを偽装します

headers = {'User-Agent': 'Mozilla/5.0'}
html = requests.get(url, headers=headers)

スクレイピング対策らしく、クローリングでhtmlを取得できないようにしてるみたいです。

google spread sheet に出力

認証の際に参考にしたサイト

Google Sheetsのapi公式リファレンス

Google Sheetsにて読み書きするためのメソッドガイド

こんな感じで出力されます。

AmazonAPIのデータ抽出案件がいい感じなきがする、、、

次回はAmazonAPIのデータ抽出ツールに関する記事を書きたいと思います！！！！！