python3 HTTP Error 403:Forbidden
877 ワード
問題の説明
pythonを初心者で、pythonのurllibを使っています.request.urlopen()メソッドでWebページを開くと、HTTP Error 403:Forbiddenという異常を投げ出すサイトもあります.
問題の原因
サイトは爬虫類の操作を制限しています
解決策
ブラウザに偽装して、火狐を例にして、firebugで
を調べます
そしてこのように
pythonを初心者で、pythonのurllibを使っています.request.urlopen()メソッドでWebページを開くと、HTTP Error 403:Forbiddenという異常を投げ出すサイトもあります.
問題の原因
サイトは爬虫類の操作を制限しています
解決策
ブラウザに偽装して、火狐を例にして、firebugで
を調べますそしてこのように
headers = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0'}
req=urllib.request.Request(url=target_url,headers=headers)
urllib.request.urlopen(req).read()