NodeJSのaxiosモジュールは爬虫類機能を実現します.
1530 ワード
爬虫機能:キャプチャーhttps://movie.douban.com/chartページのデータは、最高点、最低点、平均点を求めます.
const fs = require("fs");
const axios = require("axios");
const cheerio = require("cheerio");
axios.get("https://movie.douban.com/chart").then(res=>{
//console.log(res.data)
//fs.writeFileSync("1.html", res.data);
var $ = cheerio.load(res.data); //
var data = [];
var all = 0;
var min;
var minIndex;
var max;
var maxIndex;
$(".pl2").each(function( ind, el){
var elem = $(el);
var title = elem.children("a").text().split("/")[0].replace(/
/g, '').replace(/\s/g, '');
var score = Number(elem.find(".rating_nums").text());
if( min === undefined ){
min = score;
}
if( max === undefined ){
max = score;
}
if( scoremax ){
max = score;
maxIndex = ind;
}
data.push({
title,
score
})
all+=Number(score); //
})
var pjf = all / data.length; //
console.log(' :'+all.toString());
console.log(' :'+pjf.toString());
console.log(' :'+min+' :'+minIndex+' '+data[minIndex].title);
console.log(' :'+max+' :'+maxIndex+' '+data[maxIndex].title);
})