Mojoliciousで、Selenium + PhantomJS を使った簡単なスクレイピングツールを作る


スクレイピングツールの作成だと内容が特定しづらいので、タイトルを変えてみました。

今回は、ローカル環境で作成したアプリをMojoliciousで置き換えてWWW環境(CentOS)へアップロードしています。DBはMySQLを使用しています。

ソースはGitHub↓
https://github.com/YasuakiOmokawa/MojoKaiseki01
に挙げてありますが、簡単な動きは以下のとおりです。

1.ブラウザ上から、開始ボタンをクリックして開始
2.スクレイプツールの呼び出し
3.DBからログイン情報を取得
3.Test::TCPでphantomJSを起動
4.データがほしいwebページへログインし、htmlソースを取得
5.htmlソースをブラウザへ表示して終了

いろいろ苦労しましたが、なんとか動く所までできました。

ですが、動きが遅いのは相変わらずのまま。プラットフォームの違いはあまり関係なかったようです。