pythonwebスクレイピング-要素を一括取得

2796 ワード
Python scraping Python3 Python テキストリンク

PythonによるWebスクレイピング〜入門編〜【業務効率化への第一歩】の9-10勉強メモ
https://www.udemy.com/course/python-scraping-beginner/
スクレイピング対象ページ(PW制限あり)
https://scraping-for-beginner.herokuapp.com/mypage

要件: 下記テーブルの右側部分のテキスト情報を一括取得すること

F12を押し、開発ツールで確認すると右側のテキストは、すべてtdでマークアップされていることがわかる。

1. ブラウザからtdの要素を取得する。

elems_td = browser.find_elements_by_tag_name('td')

2. tdの中から要素を一つづつ取り出しvalueに入れる

tdの要素をすべて取得したelems_tdの情報を、elem_tdに入れる。

values = []
#elems_tdの中から要素を一つづつ取り出しelem_tdに入れる
for elem_td in elems_td:

3.elem_tdの要素(text形式)を、valueに入れる。

    #elem_tdの要素(text形式)を、valueに入れる
    value = elem_td.text

4. valueの要素をすべて、valuesのリストに追加

    #valueの要素をすべて、valuesのリストに追加
    values.append(value)

すべてのコード

#ブラウザからtdの要素を取得
elems_td = browser.find_elements_by_tag_name('td')
values = []
#elems_tdの中から要素を一つづつ取り出しelem_tdに入れる
for elem_td in elems_td:
    #elem_tdの要素(text形式)を、valueに入れる
    value = elem_td.text
    #valueの要素をすべて、valuesのリストに追加
    values.append(value)

#valuesを打つ
values

結果

['今西 航平', '株式会社キカガク', '1994年7月15日', '千葉県', 'バスケットボール\n読書\nガジェット集め']