nodeJs爬虫類

1、nodejsで爬虫類を書くからには、一番目は必ずnodejsをインストールします.また、あなたは全部私の文章を読んでいますから、nodejsをインストールしたと説明します.
2、インストールに必要なモジュール:request、cherio、プロミセで書くなら、bluebirdモジュールをインストールします.
3、私たち爬虫類のページは以下の通りです.
4、第一の方法コードは以下の通りである.

// require      ，   npm github   
var request = require('request'); 
const cheerio = require('cheerio')
const baseUrl = "https://blog.csdn.net/wangweiscsdn/article/list/";//            ，  

//           
function startReq(url) {
    request(url, function (error, response, body) {
        const $ = cheerio.load(body); //         url    html
        const data = $('h4 > a');
        data.map((k) => {
            const title = data[k].children[0].next.next.data;
            // console.log('data[k]------------->', data[k].children[0].next.next);
            console.log(title);
        })
    });
}

for (let i = 1; i < 10; i++) {
    const url = baseUrl + i;
    startReq(url);
}

5、2つ目はプロモーション方式のコードを使っています.

var request = require('request');
var promise = require('bluebird');
const cheerio = require('cheerio')
const baseUrl = "https://blog.csdn.net/wangweiscsdn/article/list/";

function startReq(url) {
    return new Promise(function (resolve, reject) {
       let titles = []; 

        request(url, function (error, response, body) {
            const $ = cheerio.load(body);
            const data = $('h4 > a');
            
            data.map((k) => {
                const title = data[k].children[0].next.next.data;
                titles.push(title);
            })

            resolve(titles);
        });

    });
}

for (let i = 1; i < 10; i++) {
    const url = baseUrl + i;
    promise
        .all(startReq(url)) // all peomise     ，      
        .then(function(titles) {
            console.log('scrawl complate!', titles);
        })
}