【一分理解】スクレイピンングしてみよう
スクレイピングってなに?
スクレイピングとは、ウェブサイトから情報を抽出することです。
サイト上のデータ(商品、価格、天気などのデータ)を取ってくることが多いです。
pythonで書いてみよう
必要なもの(pip)
・requests
・BeautifulSoup
・調べたいサイトのURL
流れ
requestsで取得
res = requests.get("URL")
BeautifulSoupでサイトデータを抽出
soup = BeautifulSoup(res.text, "html.parser")
欲しい部分を決定
ex)クラス名:product_lists aaa の ul の中の liを取得
※商品一覧などの構造はだいたいこんな感じ
found_part = soup.find_all("ul", class_='product_lists aaa')
for ul_tag in found_part:
for li in ul_tag.find_all('li'):
print(li.find('span').text)
サンプルソース
MyGitHub
ここ注意
サイトによってはスクレイピングを禁止しているものもあるため、確認する必要がある。
サイトによってはスクレイピングを禁止しているものもあるため、確認する必要がある。
Author And Source
この問題について(【一分理解】スクレイピンングしてみよう), 我々は、より多くの情報をここで見つけました https://qiita.com/yamu_official/items/7fdee5af19c512d9cfde著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .