pythonは斗図を採取した(マルチスレッド)
2077 ワード
import concurrent
import requests;
from concurrent.futures import ThreadPoolExecutor
import os;
import parsel;
def send_request(url):
header = {
"user-agent":'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
requests.packages.urllib3.disable_warnings()
response = requests.get(url,headers=header)
return response
def pare_data(data):
selector = parsel.Selector(data)
result_list = selector.xpath('//a[@class="col-xs-6 col-sm-3"]')
for result in result_list:
title = result.xpath('./img/@alt').get()
src_url = result.xpath('./img/@data-original'). get()
all_title = title+'.'+src_url.split('.')[-1]
yield all_title,src_url
def save_data(file_name,data):
dir_name = 'doutu_list'
if not os.path.exists(dir_name):
os.mkdir(dir_name)
with open(dir_name+'/'+file_name,'wb') as f:
f.write(data)
print(" :",file_name)
def main(page):
for page in range(1,page+1):
print('######################## {} ########################'.format(page))
thread_pool = concurrent.futures.ThreadPoolExecutor(max_workers=1)
res = send_request('https://www.doutula.com/photo/list/?page={}'.format(str(page)))
src_url = pare_data(res.text)
for file,url in src_url:
print(file)
print(url)
image_response = send_request(url)
thread_pool.submit(save_data,file,image_response.content)
thread_pool.shutdown()
if __name__=='__main__':
main(1)
高顔値バックグラウンド管理システム無料使用####
サブメープルバックグラウンド管理システム####は、宝塔パネルに直接取り付けることができます
私の公衆番号に注目することを歓迎します:子楓の奇妙な世界、独占的に整理した学習資源と日常の干物のプッシュを獲得します.もしあなたが私の他のテーマの内容に興味があれば、私の個人ブログ:www.wangmingchang.comに直行します.