nodejsで最新ニュースをmongoDBに保存する他

14352 ワード
scraping Node.js Node.js テキストリンク

論理構成とかなしただただメモですが読んで分かると思います。
データをテンプレートに投げれば、ニュースアプリとか作れます。

テンプレ

parseXML = require("xml2js").parseString
util = require "util"
http = require "http"
URL = require "URIjs"
mongoose = require "mongoose"
settings = require "./settings"
appId = 'XXXXXXXXXXXXXXXX'
log = (a) ->
    if arguments.length isnt 1
        return console.log arguments
    console.log util.inspect a,
        showHidden: false
        depth: 2
        color: true
    return a
  • xml2js：XMLをjsonに変える。超重要。
  • util：ログとれる、階層レベルを変えて目当てのデータを見つけるためにlog関数。
  • mongoose：データ保存、スキーマで必要なデータだけ取る。
  • settings：ホストとかポートとかの設定情報
  • appId: ヤフーのAPI使うための認証鍵。
  • URL：urlをjsonっぽく投げて作れる。url作るだけです。

yahooAPI

これを使ってみる。ほかに日本語解析とか、緯度経度で場所探しとかあるけど使い方は一緒。
リクエストパラメータに必要な情報を上ページから探してそれをもとにurlとクエリとデータの中身の表示を書く。

news =
    uri: 'http://news.yahooapis.jp/NewsWebService/V2/topics'
    data: # 後でクエリに使う
        appid: appId
        category: 'domestic'
        sort: 'pvindex'
        results: 10
    res: (data) -> data.ResultSet.Result

URL生成。使い方はnpmで調べてみて。

urler = new URL news.uri
urler.search news.data

通信します。



http.get urler.toString(), (res) ->
    body = ''
    res.setEncoding 'utf-8'
    res.on 'data', (chunk) ->
        body += chunk

    res.on 'end', (res) ->
        parseXML body,
            trim: true
            explicitArray: false
        , (err, data) ->
            if err then throw err
            log news.res data
.on 'error', (e) ->
    log e.message

APIってっこうやって使うんですかね。
これくらいならクライアントサイドだけで直接投げて済みそうですね。
一応APIの使い方でした。いろんなAPIで遊べますよ！

さて月５０００回しか使えないらしいからDB保存しよう。log関数の代わりにデータベースに投げる、dbSave関数を作ります。

mongoose = require "mongoose"

mySchema = new mongoose.Schema
    NewsUpdateTime: String
    Keyword: String
    TopicName: String
    English: String
    Overview: String
    Category: String
    SubCategory: String
    Url: String
    PickupCategory: String
    PickupOrder: String
    PvIndex: String
    NewsNum: String
    NewsUrl: String
    SmartphoneUrl: String
mongoose.model 'yahoonews', mySchema
dbName = "yahoonews"

dbSave = (datas)  ->
    mongoose.connect "mongodb://" + settings.host + "/" + dbName
    News = mongoose.model "yahoonews"
    datas.forEach (data) ->
        news = new News data
        news.save()

databaseNameとコレクションネームが一緒でややこしい、ごめん
無事に保存できました。

しかし、、、
ここまで読んでくれて難だけど、１０件しかとれないし、ニュースのURLはいってないし、なんだこのAPI?! ってなるんです。
なのに制限とか＾＾；

ニュースでもいいですけど、こんどは為替情報を保存してみようかな。さて

やってることは控えめなのに、げすいタイトルのページがあったのでまねてみます。yahooファイナンスさんのページからスクレイピングしてみます。アクセスは重いので練習しにくかったです。


# マーケットの最新情報を得るスクレイピング
jsdom = require "jsdom"
jsdom.env 'http://finance.yahoo.co.jp', ["http://ajax.googleapis.com/ajax/libs/jquery/1.11.0/jquery.min.js"], (err, window) ->  window.$('.yjfinMarquee:first em').each () ->
        console.log window.$(this).children('a, strong').text()

スクレイピング自体はjqueryだけでconsole上でできます。
今回はサーバーにてhtmlをgetしてDOMに変えて、jqueryでさがしたら簡単になるわけなんですが。npmで検索した結果がこれ。
+ jsdom: htmlをDOMに変えてくれる
途中でjqueryを読みこむオプションがあって便利！
以上、上のqiitaページのnodejsばーじょんでした。

しかし得られる情報がしょぼい！

いまどきのRSSで制限もよわいのにめっちゃ情報のってますやん。XMLぱーさー使ってるんだったら最初からRSSでいいやん！

# RSSから最新のマーケット情報を得る。
urler = new URL 'http://jpy.jp.fx-exchange.com/rss.xml'

http.get urler.toString(), (res) ->
    body = ''
    res.setEncoding 'utf-8'
    res.on 'data', (chunk) ->
        body += chunk

    res.on 'end', (res) ->
        parseXML body,
            trim: true
            explicitArray: false
        , (err, data) ->
            if err then throw err
            log data.rss.channel.item

うわ、とれたわ。
わんちゃんマーケットアプリ作ってひと儲けできるんかな。

以上、API探しの旅の記録でした。

hdu4899 Hero meet devil