Nodejsネットワーク爬虫類技術の詳細
4859 ワード
今はビッグデータの時代で、ネット上で既成のデータはすべてそこにあって、あなたがどのように利用するかを見て、ネット爬虫類、最も私たちの必要なデータを捕まえるのに適しています.ではnodejsで爬虫類全体を完成させるにはどのようなモジュールと技術が必要ですか?
1.requestモジュールrequestはHTTP要求操作を簡略化するためのモジュールであり、その機能が強く、使用方法が簡単で具体的な使い方が参考できる.http://blog.youlunshidai.com/post?id=91
2.cheerioモジュールnodejsでネットワーク爬虫類を作った仲間たちはcheerioというモジュールを知っていると信じています.はい、彼はjQuery Coreのサブセットで、jQuery Coreのブラウザに関係のないDOM操作APIを実現しています.一般的にcheerio.load方法でhttpで要求したWebページの内容をロードし、DOM操作を行い、必要なデータをキャプチャします.注意すべきは、cheerioはすべてのjQueryのクエリー構文をサポートしていません.例えば、$('a:first')が間違って報告され、$('a').first()としか書けません.
具体的な使用方法はcheerioモジュールのホームページから詳細な使用説明を得ることができます.https://npmjs.org/package/cheerio
3.asyncモジュールasyncは比較的広く使用されているJS非同期プロセス制御モジュールであり、Nodejs上で実行できるほか、ブラウザ側で実行することもでき、主にNodejsの処理中に様々な複雑なコールバックに使用されている.ここでは主にasyncのeachSeries方法を使用し、彼は主に非同期操作でのシリアル操作に使用されている.非同期プロセスで前の操作を実行した後、同時に実行するのではなく、次の操作を実行したい場合は、eachSeriesを使用してすべての非同期操作をループすることができます.具体的な使用方法はasyncモジュールのホームページから詳細な使用説明を得ることができます.https://npmjs.org/package/async
4.mysqlモジュールmysqlはNodejsの下で有名なMySQL操作モジュールで、私たちが捕まえたデータセットをmysqlデータベースに格納するためにこのモジュールを使用する必要があります.具体的な使用方法はmysqlモジュールのホームページで詳細な使用説明を得ることができます.https://github.com/felixge/node-mysql
最後に、私のプロジェクトの完全なネットワーク爬虫類のソースコードを共有します.
1.requestモジュールrequestはHTTP要求操作を簡略化するためのモジュールであり、その機能が強く、使用方法が簡単で具体的な使い方が参考できる.http://blog.youlunshidai.com/post?id=91
2.cheerioモジュールnodejsでネットワーク爬虫類を作った仲間たちはcheerioというモジュールを知っていると信じています.はい、彼はjQuery Coreのサブセットで、jQuery Coreのブラウザに関係のないDOM操作APIを実現しています.一般的にcheerio.load方法でhttpで要求したWebページの内容をロードし、DOM操作を行い、必要なデータをキャプチャします.注意すべきは、cheerioはすべてのjQueryのクエリー構文をサポートしていません.例えば、$('a:first')が間違って報告され、$('a').first()としか書けません.
具体的な使用方法はcheerioモジュールのホームページから詳細な使用説明を得ることができます.https://npmjs.org/package/cheerio
3.asyncモジュールasyncは比較的広く使用されているJS非同期プロセス制御モジュールであり、Nodejs上で実行できるほか、ブラウザ側で実行することもでき、主にNodejsの処理中に様々な複雑なコールバックに使用されている.ここでは主にasyncのeachSeries方法を使用し、彼は主に非同期操作でのシリアル操作に使用されている.非同期プロセスで前の操作を実行した後、同時に実行するのではなく、次の操作を実行したい場合は、eachSeriesを使用してすべての非同期操作をループすることができます.具体的な使用方法はasyncモジュールのホームページから詳細な使用説明を得ることができます.https://npmjs.org/package/async
4.mysqlモジュールmysqlはNodejsの下で有名なMySQL操作モジュールで、私たちが捕まえたデータセットをmysqlデータベースに格納するためにこのモジュールを使用する必要があります.具体的な使用方法はmysqlモジュールのホームページで詳細な使用説明を得ることができます.https://github.com/felixge/node-mysql
最後に、私のプロジェクトの完全なネットワーク爬虫類のソースコードを共有します.
var request = require('request');
var cheerio = require('cheerio');
var async = require('async');
var mysql = require('../models/db');
exports.get = function() {
var domino = 'http://www.tapotiexie.com';
var url = 'http://www.tapotiexie.com/Line/index/name/yt/p/';
var txtSource = ' ';
var url_list = [];
var list = [];
for (var i = 1; i < 25; i++) {
url_list.push(url + i + '.html');
}
async.eachSeries(url_list, function(arr_url, callback) {
console.log(' ' + arr_url + ' ...');
request(arr_url, function(err, data) {
if (err) return console.error(err);
var $ = cheerio.load(data.body.toString());
$('.tptx_ytgt .tptx_ytgt_4').each(function() {
var $me = $(this);
//
var arr1 = analyStr($me.find('.tptx_ytgt_2b a').text());
//
var arr2 = analyDay($me.find('.tptx_jcyj_2ab_1 span').text());
var item = {
txtCompany: arr1[0],
txtCruise: arr1[1],
txtLine: analyLine($me.find('.tptx_jcyj_2ab_1 ul li:first-child').text()),
txtStartDate: analyStart($me.find('.tptx_jcyj_2ab_1 li').eq(1).text(), $me.find('.tptx_jcyj_2ab_1 span').text()),
numDay: Number(arr2[1]),
numNight: Number(arr2[0]),
numPrice: analyPrice($me.find('.tptx_jcyj_2ac .tptx_jcyj_2ac_1').text()),
txtUrl: domino + $me.find('.tptx_ytgt_2b a').attr('href')
};
list.push(item);
});
callback(err, list);
});
}, function(err) {
if (err) return console.error(err.stack);
/* */
async.eachSeries(list, function(record, callback) {
console.log(' ' + record.txtStartDate + ' ...');
var sql = 'insert into ...';
mysql.query(sql, function(err, info) {
if (err) return console.error(err.stack);
if (info.affectedRows == 1) {
callback(err);
}
});
}, function(err) {
if (err) return console.error(err.stack);
console.log(' !');
});
});
}
/* */
function analyStr(str) {
var _newStr = '';
for (i in str) {
if (str[i].trim() == '') {
_newStr += '|';
} else {
_newStr += str[i];
}
}
return _newStr.split('||');
}
/* */
function analyLine(str) {
var arr1 = str.split(" :");
return arr1[1];
}
/* */
function analyPrice(str) {
if (str == ' ') {
return 0;
} else {
var arr1 = str.split("¥");
var arr2 = arr1[1].split(" ");
return Number(arr2[0]);
}
}
/* */
function analyDay(str) {
var arr1 = str.split(' ');
var arr2 = arr1[1].split(' ');
var _newStr = arr1[0] + '|' + arr2[0];
return _newStr.split('|');
}
/* */
function analyStart(str1, str2) {
var arr1 = str1.split(str2);
var arr2 = arr1[0].split(' :');
return arr2[1];
}
一般的なページの文章リストはページをめくることで実現されますが、どのようにしてすべてのページのデータを取得するかは、「次のページ」ボタンをつかむことで次のページのデータがあるかどうかを判断することができます.もしあれば、次のページのリンクのhref属性を直接読み取ることができます.