pyspiderフレームワーク爆発599証明書の問題
1222 ワード
本当に何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度も何度もすぐにグーグルを探すしかない
599エラー:
原因分析:
httpsプロトコルは証明書を検証する必要があるため、httpsネットワークへのアクセスには証明書が必要です.
解決方法:
2つのキャプチャ関数に検証不要証明書を追加:
問題解決!!!
599エラー:
HTTP 599: SSL certificate problem: unable to get local issuer certificate
[E 161018 21:56:36 base_handler:195] HTTP 599: SSL certificate problem: unable to get local issuer certificate
Traceback (most recent call last):
File “C:\Python27\lib\site-packages\pyspider\libs\base_handler.py”, line 188, in run_task
result = self._run_task(task, response)
File “C:\Python27\lib\site-packages\pyspider\libs\base_handler.py”, line 167, in _run_task
response.raise_for_status()
File “C:\Python27\lib\site-packages\pyspider\libs\response.py”, line 190, in raise_for_status
raise http_error
HTTPError: HTTP 599: SSL certificate problem: unable to get local issuer certificate
原因分析:
httpsプロトコルは証明書を検証する必要があるため、httpsネットワークへのアクセスには証明書が必要です.
解決方法:
2つのキャプチャ関数に検証不要証明書を追加:
validate_cert=False
self.crawl('https://www.tripadvisor.cn/Attractions-g255060-Activities-c47-Sydney_New_South_Wales.html',validate_cert=False, callback=self.index_page)
self.crawl(each.attr.href,validate_cert=False, callback=self.detail_page)
問題解決!!!