Mojoliciousで、Selenium + PhantomJS を使った簡単なスクレイピングツールを作る
スクレイピングツールの作成だと内容が特定しづらいので、タイトルを変えてみました。
今回は、ローカル環境で作成したアプリをMojoliciousで置き換えてWWW環境(CentOS)へアップロードしています。DBはMySQLを使用しています。
ソースはGitHub↓
https://github.com/YasuakiOmokawa/MojoKaiseki01
に挙げてありますが、簡単な動きは以下のとおりです。
1.ブラウザ上から、開始ボタンをクリックして開始
2.スクレイプツールの呼び出し
3.DBからログイン情報を取得
3.Test::TCPでphantomJSを起動
4.データがほしいwebページへログインし、htmlソースを取得
5.htmlソースをブラウザへ表示して終了
いろいろ苦労しましたが、なんとか動く所までできました。
ですが、動きが遅いのは相変わらずのまま。プラットフォームの違いはあまり関係なかったようです。
Author And Source
この問題について(Mojoliciousで、Selenium + PhantomJS を使った簡単なスクレイピングツールを作る), 我々は、より多くの情報をここで見つけました https://qiita.com/omokawa_yasu/items/dfa09a1a30c512f993ea著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .