urllibとrequestsはそれぞれbeautiful soupの異なった書き方を組み合わせます。

657 ワード

urllibを使って、コードは以下の通りです。
from urllib import request
from bs4 import BeautifulSoup 
url = 'http://www.qiushibaike.com/text/page/1'
req = request.Request(url)
req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')
response = request.urlopen(req).read()
soup = BeautifulSoup(response, 'html.parser')
requestsを使って、コードは以下の通りです。
import requests
from bs4 import BeautifulSoup
url = 'http://www.qiushibaike.com/text/page/1'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')