爬虫類エラーのまとめ
1726 ワード
一、ターゲットサイトはutf-8を符号化し、requests要求によってtextメソッドを返し、xpathでエラーを報告する
解決:
`html=requests.get(url=base_url, headers=headers).text`を`html=requestsに変更する.get(url=base_url, headers=headers).content`でいい
Traceback (most recent call last):
File "/python_project/app_data/parse_async/setup_parse.py", line 49, in
get_urls(link)
File "/python_project/app_data/parse_async/setup_parse.py", line 44, in get_urls
tree = etree.HTML(html)
File "src/lxml/etree.pyx", line 3170, in lxml.etree.HTML
File "src/lxml/parser.pxi", line 1872, in lxml.etree._parseMemoryDocument
ValueError: Unicode strings with encoding declaration are not supported. Please use bytes input or XML fragments without declaration.
: Unicode 。 XML 。
解決:
`html=requests.get(url=base_url, headers=headers).text`を`html=requestsに変更する.get(url=base_url, headers=headers).content`でいい