python爬虫類は闘魚生放送アナウンサー名、アナウンサー部屋名、アナウンサー部屋住所および現在の熱(熱が変化し、当時基準)コードを取得する


import json
import jsonpath
import requests
import time,re
bese_url = "https://www.douyu.com/gapi/rkc/directory/0_0/{}"
head = {
"user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}
for i in range(0,100):
    bese_url1 = bese_url.format(i)
    dakai=requests.get(bese_url,headers = head)
    yeshu=dakai.text
    yeshu1 = json.loads(yeshu)
    yeshu2 = jsonpath.jsonpath(yeshu1,"$..data.rl")[0]
    for xx in yeshu2:
        xx = str(xx)
        print(xx)
        mingzi = re.findall("'rn': '(.*?)',",xx)
        mingzi1 = ''
        for i in mingzi:
            mingzi1+=i
        renming = re.findall("'nn': '(.*?)',",xx)
        renming1=""
        for i in renming:
            renming1+=i
        fangjian = re.findall("'url': '/(.+?)',", xx)
        fangjian1 = ''
        for i in fangjian:
            fangjian1+=i
        print(fangjian1)
        redu  = re.findall("'ol':(.*?),",xx)
        redu1 = ''
        for i in redu:
            redu1 +=i
        fangjian1 = 'https://www.douyu.com/'+fangjian1
        quanbu = mingzi1+','+renming1+','+fangjian1+','+redu1+'
' print(quanbu) with open('E:/ /'+' .csv','a+',encoding="utf-8-sig")as f: f.write(quanbu) time.sleep(5)

Excelテーブルが表示され、E:闘魚の下に保存されます(Eディスクの下に「闘魚」フォルダが作成され、フォルダを作成するコードが書かれていないことを覚えてください)