BeautifulSoupを用いたHTMLデータの検索方法
1.概要
データ解析用にいろいろなタグ情報をHTMLに埋め込み、「その埋め込んだデータが正しく表示されているか」を自動テストで検出できないか、いろいろ方法を調べてみました。
その中で、PythonのBeautifulSoupを用いて対象のHTMLデータを検索出来たので、その方法をまとめます。
※本件は検索方法のみで解析については記載しておりません。
2.検索方法の考え方
BeautifulSoupで対象のHTMLデータを取得するには、まず起点となる<>で囲まれたデータを見つけます。そして、起点となるタグに含まれている情報を1つ1つ記載していくことで、HTMLデータを検索します。
起点とすべきデータはユニークな値を持つものを指定すると、その項目のみを指定すればいいので、検索プログラムの記載がシンプルになります。
また、3章以降の例文を動作するには、以下のプログラムが記載されていることを前提としております。
import requests
import re
from bs4 import BeautifulSoup
res = requests.get('ここに解析対象のURLを記載')
c=res.content
soup = BeautifulSoup(c,'html.parser')
#ここに例文を記載
print(elems)
3.基本的なデータの取得方法
取得したいデータが1つの場合はfindを、複数の場合はfind_allを利用します(その他にselectという方法もありますが、今回除外します)。以下の例文ではfind_allを用いています。
・直接タグを指定するパターン
#検索したいタグの構造
<script>~</script>
elems = soup.find_all("script")
単純なタグで囲まれた部分を検索する場合、利用します。
・複数のタグを指定するパターン(リストを利用)
#検索したいタグの構造
<h1>~</h1>
<div>~</div>
elems = soup.find_all(["h1","div"])
タグで囲まれているデータを複数検索したい場合、利用します。
・キーワードを指定するパターン(完全一致)
#検索したいタグの構造
<a class = "test">~</a>
elems = soup.find_all(class_="test")
各タグの中で「=」を用いて値が代入されている項目がある場合、利用します。
また、classを指定する場合は「class_」とする必要があります。(Pythonの予約語にclassが使われているので)
検索項目が2つある場合は、以下のように[]を使います。
elems = soup.find_all(id=["test1", "test2"])
・キーワードを指定するパターン(部分一致)
#検索したいタグの構造
<a href="http://○○/△△.html">~<a>
elems = soup.find_all(href=re.compile("http://"))
「=」で代入されている値を部分的に検索する場合などに利用します。
・キーワードを指定するパターン(attrs属性を利用した完全一致)
#検索したいタグの構造
<a href="http://○○/△△.html">~<a>
elems = soup.find_all(attrs={"href":"http://○○/△△.html"})
HTML5のdataタグなど、キーワードとして使えないものがあるときは「attrs」を利用します
#例)
× elems = soup.find_all("meta",name="test")
⇒TypeError: find_all() got multiple values for argument 'name'
○ elems = soup.find_all("meta",attrs={"name":"test"})
・項目のありなしを確認するパターン(値が入っていればTrue、入っていなければFalse)
#検索したいタグの構造
<a href="http://○○/△△.html">~<a>
elems = soup.find_all(href=True)
hrefなどのタグに何でもいいので値が入っているものを調べる場合、利用します。
値が入っていない場合は、以下のようにFalseを指定します
elems = soup.find_all(id=False)
・タグで囲まれているテキストを検索するパターン(完全一致)
#検索したいタグの構造
<a href="http://○○/△△.html">ご利用案内<a> #ここのご利用案内のみ検索したい
elems = soup.find_all(text='ご利用案内')
タグで囲まれた中のテキストのみ抽出したい場合、利用します。
・タグで囲まれているテキストを検索するパターン(部分一致)
#検索したいタグの構造
<a href="http://○○/△△.html">ご利用案内<a> #ここのご利用案内のみ検索したい
elems = soup.find_all(text=re.compile("ご"))
タグで囲まれた中のテキストのみ抽出したい場合、利用します。こちらは完全一致ではなく、部分一致を用いています。
・収集するタグの数を指定するパターン(find_allのみ利用できる)
#検索したいタグの構造
<p>test1</p> #ここだけ取得したい
<p>test2</p>
elems = soup.find_all('p', limit=1)
複数のタグから指定した数だけ取得したい場合、利用します。
4.応用編
指定した構造データを見つけるには、上記の基本パターンを組み合わせて使うことが多いです。
・タグとキーワードを指定
#検索したいタグの構造
<meta name="test">
elems = soup.find_all("meta",attrs={"name":"test"})
metaというタグにname=testをしているタグを検索する場合、利用します。
・タグとテキストを指定
#検索したいタグの構造
<a href="http://○○/△△.html">テストです<a>
elems = soup.find_all("a",text="テストです")
aタグで「テストです」とテキスト文が記載されているタグを検索する場合
・attrsで項目を複数指定
#検索したいタグの構造
<a href="http://○○/△△.html" title="test">テストです</a>
elems = soup.find_all(attrs={"title":"test","href":"http://○○/△△.html"})
・起点の前後のタグを指定
また、同じようなタグが複数あるため指定の構造データを検索できない場合は、起点となる構造データを決めてそのデータの前後を検索するようにします。前後の検索には、「next_element」と「previous_element」を利用します。
(next_elementは後の要素を検索する場合、previous_elementは前の要素を検索する場合に利用します)
#検索したいタグの構造
<ui>
<li>
<a href="http://○○/△△.html">test</a>
</li>
</ui>
#取得したいのはここ
<ui>
<li>
<a href="http://□□/☆☆.html">test2</a> #ここを起点にデータを取得する
</li>
</ui>
elems = soup.find_all("a",href="http://□□/☆☆.html")
elems2 = elems[0].previous_element.previous_element #.previous_elementを2回使い、<ui><li>までを含むようにする
・関数を作成して指定
関数を作成し、複雑なタグ構造からデータを取得することもできます。
#検索したいタグの構造
<a class="test">~</a> #ここだけ取得したい
<a id="test">~</a>
def has_class_but_no_id(tag):
return tag.has_attr('class') and not tag.has_attr('id')
elems = soup.find_all(has_class_but_no_id)
Author And Source
この問題について(BeautifulSoupを用いたHTMLデータの検索方法), 我々は、より多くの情報をここで見つけました https://qiita.com/momotar47279337/items/bb123c98dc8c1c840409著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .