nodeJS爬虫類に基づく

最新でnodeJSを習い始めました。（先端の高さ）
途中で使うべき第三者の依存を話してください。直接コードを貼ります。

const http = require('http')
const fs = require('fs')
const cheerio = require('cheerio')
const iconv = require('iconv-lite')
let request = require('request');

〹噫FS NODEJSファイルシステム

fs.appendFile('message.txt', 'data to append', (err) => {
	if (err) throw err;
		console.log('The "data to append" was appended to file!');
});

         ，         API：http://nodejs.cn/api/fs.html#

同前
󑧙葃cherioはサーバーのために特別にカスタマイズしたもので、快速で、柔軟で、実施したjQueryの核心は実現します。

var cheerio = require('cheerio'),
    $ = cheerio.load('
Hello world
');
	let htmls = $('h2').html();
	console.log(htmls)
	//=> Hello there!

#

## iconv-lite 为防止当前访问网页文件乱码而出现的，通过buffer字符流来进行转化进行相应的转换字符编码

    iconv.decode(Buffer.Concat(html),'gb2312');

萼菷は下のソースコードです。

//    
const http = require('http')
const fs = require('fs')
const cheerio = require('cheerio')
const iconv = require('iconv-lite')
let request = require('request');

const zzxxxc = [
    'http://www.88dushu.com/xiaoshuo/69/69252/'
];

// http://www.biquge.cm/8/8726/
let bookLists = [];
let bookName = '';
let m = 0;
hrefs();

/**
 *        
 */
function hrefs() {
    if (m < zzxxxc.length) {
        http.get(zzxxxc[m], res => {
            const html = []
            res.on('data', (chunk) => {
                html.push(chunk)
            })
            res.on('end', () => {
                const html1 = iconv.decode(Buffer.concat(html), 'gb2312');
                const $ = cheerio.load(html1);
                var ddsli = {};
                let result = $('.mulu').find('li');
                bookName = $('.rt h1').text();

                let key = ''; //       
                result.each((i, elem) => {
                    let $hrefTag = $(elem).find('a') || false;
                    if ($hrefTag) {
                        $hrefTag.each((i, elem) => {
                            let bookCharInfo = {};
                            if ($(elem).text().trim() !== '  ') {
                                bookCharInfo.charName = $(elem).text().trim();
                                bookCharInfo.charUrl = zzxxxc[m] + $(elem).attr('href');
                                bookLists.push(bookCharInfo);
                            }
                        });
                    }
                });
                m++;
                txtWord()
            });
        })

    } else {
        return '';
    }
}
let i = 0;
/**
 *         
 */
function txtWord() {
    let hrefUrls = bookLists[i].charUrl;
    request({
        url: hrefUrls,
        headers: {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
        },
        encoding: null
    }, function(error, response, body) {
        if (response && response.statusCode == 200) {
            //        ，  iconv-lite  ，decedo  Buffer  ，Buffer.concat   
            const html1 = iconv.decode(body, 'gb2312');
            const $ = cheerio.load(html1);
            var ddsli = {}; //     
            var bokname = $('.novel h1').text() + '.'.replace(/./g, '
');
            var contentTxt = $('.yd_text2').text().trim().replace(/\s/g, "").replace(/。/g, '。
') + '.'.replace(/./g, '\r
');
            fs.appendFile('./' + bookName + '.txt', (bokname + contentTxt), function(err) {
                if (err) {} else {
                    if (i < bookLists.length - 1) {
                        i++;
                        console.log('    ==>' + bokname.replace(/[\r
]/g, ""));
                        txtWord();
                    } else {
                        console.log('    ,     ');
                        hrefs();
                    }
                }
            });
        } else {
            txtWord();
        }
    });
}
/**
 *     
 * @param {*   } str 
 */
function trim(str) {
    return str.replace(/(^\s*)|(\s*$)/g, '').replace(/ /g, '')
}

もし転載があれば、出所を教えてください。ありがとうございます。