NodeJSのaxiosモジュールは爬虫類機能を実現します.

1530 ワード

爬虫機能:キャプチャーhttps://movie.douban.com/chartページのデータは、最高点、最低点、平均点を求めます.
const fs = require("fs");
const axios = require("axios");
const cheerio = require("cheerio");

axios.get("https://movie.douban.com/chart").then(res=>{
    //console.log(res.data)
    //fs.writeFileSync("1.html", res.data);

    var $ = cheerio.load(res.data);  //       

    var data = [];
    var all = 0;
    var min;
    var minIndex;
    var max;
    var maxIndex;

    $(".pl2").each(function( ind, el){
        var elem = $(el);
        var title = elem.children("a").text().split("/")[0].replace(/
/g, '').replace(/\s/g, ''); var score = Number(elem.find(".rating_nums").text()); if( min === undefined ){ min = score; } if( max === undefined ){ max = score; } if( scoremax ){ max = score; maxIndex = ind; } data.push({ title, score }) all+=Number(score); // }) var pjf = all / data.length; // console.log(' :'+all.toString()); console.log(' :'+pjf.toString()); console.log(' :'+min+' :'+minIndex+' '+data[minIndex].title); console.log(' :'+max+' :'+maxIndex+' '+data[maxIndex].title); })