python Max retries exceeded with urlのエラーについて
1351 ワード
bossの直聘に登ったときにこのような間違いが発生し、ネット上の多くの文章を検索し、以下のようにまとめた.http接続が多すぎて閉じていないため、解決方法: 1 2 3 4 5
2.アクセス数が頻繁でアクセスが禁止されている、解決方法:エージェントの使用 1 2 3 4 5 6
エージェントのWebサイトを検索するには、次の手順に従います.http://ip.zdaye.com/shanghai_ip.html#Freeエージェントを使用する際の注意点:1.エージェントはhttpとhttpの2種類に分けられ、混在してはいけません.httpのエージェントをhttpとして使用すると、上記のエラーが報告されます.2.上記のエージェントは、辞書形式で入力され、例えば、上記の例は、「47.1100.104.247:8080」の形式であってもよいし、「47.100.247:8080」の形式であってもよい.https://47.100.104.247:8080」というフォーマットです.3.エージェントが使用できない場合は、上記のエラーが表示されます.次の方法で、エージェントが使用可能かどうかを判断します.
import requests
requests.adapters.DEFAULT_RETRIES = 5 #
s = requests.session()
s.keep_alive = False #
s.get(url) #
2.アクセス数が頻繁でアクセスが禁止されている、解決方法:エージェントの使用
import requests
s = requests.session()
url = "https://mail.163.com/"
s.proxies = {"https": "47.100.104.247:8080", "http": "36.248.10.47:8080", }
s.headers = header
s.get(url)
エージェントのWebサイトを検索するには、次の手順に従います.http://ip.zdaye.com/shanghai_ip.html#Freeエージェントを使用する際の注意点:1.エージェントはhttpとhttpの2種類に分けられ、混在してはいけません.httpのエージェントをhttpとして使用すると、上記のエラーが報告されます.2.上記のエージェントは、辞書形式で入力され、例えば、上記の例は、「47.1100.104.247:8080」の形式であってもよいし、「47.100.247:8080」の形式であってもよい.https://47.100.104.247:8080」というフォーマットです.3.エージェントが使用できない場合は、上記のエラーが表示されます.次の方法で、エージェントが使用可能かどうかを判断します.
import requests
s = requests.session()
url = "https://mail.163.com/"
s.keep_alive = False
s.proxies = {"https": "47.100.104.247:8080", "http": "36.248.10.47:8080", }
s.headers = header
r = s.get(url)
print r.status_code # ,