フリーエージェントを捕まえて空のリストに戻る?!
9747 ワード
PYTHONネットワーク爬虫類の概要
前にいくつかの投稿の手順に従ってエージェントを登って、空のリストを返しますか?!まだ1、2ヶ月ぶりだよ.どうして役に立たないんだ.
偶然にも1篇の招待状をめくって、大まかな意味はこれらの无料の代理のウェブサイトもIPを设置して虫に逆らいます!!!こんな穴?giao!
何度試しても自分のコードが間違っていないことを確認したら、コードをチェックしましょう.あまり話さないで、直接修正したコードを書きます.
這い取りはこんな感じ
登って取った後、仲間はすぐに代理店を設置することができます!
これは最初のページのエージェントのコードを登って、テストは成功しました!後ろのnページのコードを取りたいなら、URLの中のパラメータを直接変えてループすればOKです.
前にいくつかの投稿の手順に従ってエージェントを登って、空のリストを返しますか?!まだ1、2ヶ月ぶりだよ.どうして役に立たないんだ.
偶然にも1篇の招待状をめくって、大まかな意味はこれらの无料の代理のウェブサイトもIPを设置して虫に逆らいます!!!こんな穴?giao!
何度試しても自分のコードが間違っていないことを確認したら、コードをチェックしましょう.あまり話さないで、直接修正したコードを書きます.
'''
'''
#
import requests
from lxml import etree
from fake_useragent import UserAgent
ua = UserAgent().random
#
url = 'https://www.kuaidaili.com/free/inha/1/'
headers = {
'User-Agent':ua}
res = requests.get(url,headers=headers).text
# ip port
html = etree.HTML(res)
'''
!!!
? ?
,DOM
, , !!!
'''
HTTPs = html.xpath('//tbody/tr/td[4]/text()')
IPs = html.xpath('//tbody/tr/td[1]/text()')
Ports = html.xpath('//tbody/tr/td[2]/text()')
list = []
for HTTP,IP,Port in zip(HTTPs,IPs,Ports):
value = HTTP,IP,Port
list.append(HTTP+':'+IP+':'+Port)
print(list)
for i in list:
print(i)
這い取りはこんな感じ
#
['HTTP:60.167.132.220:9999', 'HTTP:36.248.132.85:9999', 'HTTP:39.106.223.134:80', 'HTTP:110.243.25.158:9999', 'HTTP:120.83.104.228:9999', 'HTTP:36.248.129.130:9999', 'HTTP:220.249.149.25:9999', 'HTTP:171.35.160.221:9999', 'HTTP:123.101.231.54:9999', 'HTTP:182.46.110.254:9999', 'HTTP:163.204.240.202:9999', 'HTTP:113.195.17.123:9999', 'HTTP:115.218.5.222:9000', 'HTTP:125.108.126.217:9000', 'HTTP:110.243.5.254:9999']
HTTP:60.167.132.220:9999
HTTP:36.248.132.85:9999
HTTP:39.106.223.134:80
HTTP:110.243.25.158:9999
HTTP:120.83.104.228:9999
HTTP:36.248.129.130:9999
HTTP:220.249.149.25:9999
HTTP:171.35.160.221:9999
HTTP:123.101.231.54:9999
HTTP:182.46.110.254:9999
HTTP:163.204.240.202:9999
HTTP:113.195.17.123:9999
HTTP:115.218.5.222:9000
HTTP:125.108.126.217:9000
HTTP:110.243.5.254:9999
登って取った後、仲間はすぐに代理店を設置することができます!
これは最初のページのエージェントのコードを登って、テストは成功しました!後ろのnページのコードを取りたいなら、URLの中のパラメータを直接変えてループすればOKです.