爬虫類の入門ライブラリBeautifulsoupライブラリ、解析ページ
BeautifulSoupライブラリは非常にポピュラーなPythonの中で、モジュールはBeautifulSoupライブラリを通じて要求ライブラリ要求の||ページを簡単に解析することができ、そして||ページはソースコードをスープドキュメントに解析し、抽出データをフィルタリングすることができる.
import requests
from bs4 import BeautifulSoup
headers ={
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3573.0 Safari/537.36'
}
res =requests.get('https://www.baidu.com/',headers=headers)
soup = BeautifulSoup(res.text,'lxml')
print(soup.prettify())