Scrrapy設定のUsing proxies and crawlers
270 ワード
Unixシステムでは、Scripyの
HttpProxyMiddlewareミドルウェアは、環境変数http_proxy・https_proxyおよびno_proxyに従って爬虫の代理を設定することができます。この要求のエージェントは、各要求meta属性のうちproxyキーに設定されてもよい。例えばhttp://some_proxy_server:port。