requestsと正則は猫の目のデータを登ります。

1765 ワード

requests爬虫学习ノート

requestsでキャッツアイのサイトのtop 100のリストを登って、正規のデータを取り出して、データを保存します。

#        ，     （    ：https://github.com/Germey/TouTiao/blob/master/spider.py）
import requests 
import re
import json  
from multiprocessing import Pool#Python    

url='http://maoyan.com/board/4?offset='
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:57.0) Gecko/20100101 Firefox/57.0'}

def get(url):
    response=requests.get(url,headers=headers)
    response.encoding='utf-8'
    #print(response.text)
    #pattern = re.compile(r'.*?(\d+).*?"data-src="(.*?)".*?name">(.*?).*?star">(.*?).*?releasetime">(.*?).*?score">.*?integer">(.*?).*?fraction">(.*?).*?',re.S)
    pattern = re.compile(r'.*?(\d+).*?data-src="(.*?)".*?name">(.*?).*?star">(.*?).*?releasetime">(.*?).*?score">.*?integer">(.*?).*?fraction">(.*?).*?',re.S)
    info=re.findall(pattern,response.text)
    for item in info:
        yield {
            'index':item[0].strip(),
            'img':item[1].strip(),
            'name':item[2].strip(),
            'star':item[3].strip()[3:],
            'releasetime':item[4].strip()[5:],
            'score':item[5].strip()+item[6].strip()   
        }

def main(url):
    with open(r'D:\cs.txt','a',encoding='utf-8') as f:
        for i in get(url):
            f.write(json.dumps(i,ensure_ascii=False))
            f.write('
')

if __name__ == '__main__':
    #       
    pool = Pool()
    pool.map(main,[url+str(x) for x in range(0,100,10)])
    pool.close()
    pool.join()

LLCはOpenCVのC＋ソースに基づいて実現します。