WechatScraper-犬の捜索に基づく微信公衆号爬虫類


最近、会社はこの方面の需要があって、ネット上でいくつかの爬虫類を探して、しばらく使った後に多くの検証コードとクッキーの2つの頭の痛い問題を解決していないことを発見しました.
そこで、PhantomJSとwebdriver、Headlessブラウザを思い出しました.PhantomJSでは表示インタフェースが見えませんが、実はブラウザカーネルの中で実行されているので、多くの面倒を省くことができます.
最初にFirefoxを試してみたが、検証コードが現れる確率はほとんど0に下がった.しかし、効果は中国語の文字を消すことに似ており、英語のキーワードをつかむのは問題なく、経験のある人が答えてほしい.
便利な原則に基づいて、簡単にいくつかの操作MySQL方法をカプセル化して、直接MySQLの中にデータを保存することができて、sqlフォルダの下の2つのファイルはそれぞれ文章と公衆番号の表でファイルを作成して、MySQLに接続した後に直接sourceを入力して、それからファイルを命令行に引きずって行けばいいです.
プロファイルは、自分で変更したり、インスタンスを作成するときにconfigを入力したりすることができます.
しばらく使うPhantomJS、多くのものをインストールする必要があって、インストールの教程を書く時間があります.
main.pyはテストファイルで、中には2つのテスト例が書かれていて、インストールしてから実行することができます.
プロジェクトのアドレスはWickedDogg/WecharScraperです.issue、fork、starへようこそ.