3種類のPythonオープンソース爬虫類ソフトウェアツール

Python爬虫類
1.QuickRecon QuickReconは、サブドメイン名、perform zone transfe、電子メールアドレスの収集、microformatsを使用して人間関係を検索するのに役立つ簡単な情報収集ツールです.QuickReconはpythonを使用して作成され、linuxとwindowsオペレーティングシステムをサポートします.
ライセンス契約:GPLv 3開発言語:Pythonオペレーティングシステム:Windows Linux
特徴:サブドメイン名の検索、電子メールアドレスの収集、人間関係の検索などの機能を備えている
2.PyRailgun
これは非常に簡単で使いやすいグリップツールです.javascriptでレンダリングされたページをキャプチャする簡単で実用的で効率的なpythonページ爬虫類キャプチャモジュールをサポート
ライセンス契約:MIT開発言語:Pythonオペレーティングシステム:プラットフォーム間Windows Linux OS X
特徴:簡潔、軽量、効率的なWebキャプチャフレームワーク
備考:このソフトウェアも中国人が開放する
githubダウンロード:https://github.com/princehaku/pyrailgun#readme
3.Scrapy Scrapy  Twistedベースの非同期処理フレームワークで、純pythonで実現された爬虫類フレームワークで、ユーザーはいくつかのモジュールをカスタマイズして開発するだけで簡単に爬虫類を実現することができ、ホームページの内容や各種の画像をつかむことができ、非常に便利です～
ライセンス契約:BSD開発言語:Pythonオペレーティングシステム:プラットフォーム間githubソースコード:https://github.com/scrapy/scrapy
特徴:Twistedの非同期処理フレームワークに基づいて、ドキュメントがそろっている