猫眼映画ランキングTOP 10ランクインアイテム
猫眼映画トップ100登取
全コードは次のとおりです.
全コードは次のとおりです.
import requests
import re
import json
# from multiprocessing import Pool ##
def getonepage(url):
try:
r=requests.get(url)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except Exception as err:
print(str(err))
def parseonepage(html):
pat=re.compile('.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name">+'.*?>(.*?).*?star">(.*?).*?releasetime">(.*?)'
+'.*?integer">(.*?).*?fraction">(.*?).*?',re.S) #
items=re.findall(pat,html)
for item in items:
yield {
'index':item[0],
'image':item[1],
'title':item[2],
'actor':item[3].strip()[3:],
'time':item[4].strip()[5:], #strip()
'score':item[5]+item[6]
} #
def writetofile(content):
with open('result.txt','a',encoding='utf-8') as f: #a
f.write(json.dumps(content,ensure_ascii=False)+'
') # item , json.dumps() ,
f.close()
def main(offset):
url='http://maoyan.com/board/4?offset='+str(offset)
html = getonepage(url)
for item in parseonepage(html):
print(item)
writetofile(item)
if __name__=='__main__':
for i in range(10):
main(i*10)
#pool=Pool()
#pool.map(main,[i*10 for i in range(10)]) #