【Python】スクレイピングでデータを取得し、リストに入れる時の注意点


スクレイピングをするときの注意点
自分が沼にはまった時の対応です。

test.py
for s in name:
  name_list=[]
  name_list.append(s.string)

このコードの問題点はname_listの位置です。
この位置だと毎回name_listの中身が更新されます。
つまりforで回しているが、結局nameの一番最後の要素しか
name_listにappendされません。

ということで、name_listの位置を変えましょう。

test.py
name_list=[]
for s in name:
  name_list.append(s.string)

name_listをforの外に出すことで、nameの要素を順番に取得して、
appendするというコードになります。

特に私はまず1P、1要素スクレイピングできるか試してから、全体のスクレイピングを
行うので、そもそもテスト段階ではforをほとんど使いません。

その為、いざ全体のスクレイピングを行う際に空のリストの位置を間違えると
このようなことになります。