分散型爬虫類管理フレームワークGerapyのインストールと導入プロセス
1920 ワード
Gerapyは中国人が開発した爬虫類管理ソフトです(中国語のインタフェースがあります)
爬虫類プロジェクトを管理する可視化ツールであり、プロジェクトを管理に配置する操作をすべてインタラクティブにし、一括配置を実現し、結果の制御、管理、リアルタイム表示をより便利にする.
gerapyとscrapydの関係は,gerapyでscrapydを構成した後,コマンドを使用せずに直接グラフィックスインタフェースで爬虫類を開くことができることである.
爬虫類プロジェクトを管理する可視化ツールであり、プロジェクトを管理に配置する操作をすべてインタラクティブにし、一括配置を実現し、結果の制御、管理、リアルタイム表示をより便利にする.
gerapyとscrapydの関係は,gerapyでscrapydを構成した後,コマンドを使用せずに直接グラフィックスインタフェースで爬虫類を開くことができることである.
》》
pip install gerapy
》》
C:\Users\wangjialu\AppData\Local\Programs\Python\Python37\Scripts\
》》cmd
>gerapy init
》》 ， SQLite ， 。
>cd gerapy
>gerapy migrate
》》 http://127.0.0.1:8000
>gerapy runserver
》》
Scrapy gerapy/projectディレクトリの にあります.
Scrapyリモートサービスを し、scrapyプロジェクトをScrapydに します.
または
プロジェクトのルートディレクトリを いてscrapyを します.cfg
[deploy:abckg]
url = http://localhost:6800/
project = Abckg
#url#を り く
コマンド:scrapyd-deploy-p(target:spider.cfg [deploy:NAME])(projectname:spider.cfg project=XXX)
これで !!!
もし するならば な の の !!
:https://www.cnblogs.com/Wang-jialu/p/11132022.html