agentpoolエージェントプールのインストールと起動

3578 ワード
Python 爬虫類
agentpool
Pythonが自分の爬虫エージェントプールagentpoolを作ったのはpython 3に基づいている.7バージョンです.
python 3をインストールします.7 
yum  -y  install  gcc  gcc-c++  make  zlib-devel  bzip2-devel  openssl-devel  ncurses-devel  sqlite-devel readline-devel  tk-devel  gdbm-devel  db4-devel  libpcap-devel  xz-devel  libffi-devel  mariadb  mariadb-server  mariadb-devel
wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz
tar  -zxvf  Python-3.7.0.tgz
cd  Python-3.7.0
./configure
make && make  install
python3 -V

インストールagentpool
wget https://codeload.github.com/wangluozhe/agentpool/zip/master
unzip master
cd agentpool-master
pip3 install -r requirements.txt

Redisのインストール
wget http://download.redis.io/releases/redis-5.0.8.tar.gz
tar -zxvf redis-5.0.8.tar.gz -C /usr/local/
cd /usr/local/redis-5.0.8
make && make install
ln -s /usr/local/redis-5.0.8/src/redis-benchmark /usr/local/bin
ln -s /usr/local/redis-5.0.8/src/redis-check-aof /usr/local/bin
ln -s /usr/local/redis-5.0.8/src/redis-check-rdb /usr/local/bin
ln -s /usr/local/redis-5.0.8/src/redis-cli /usr/local/bin
ln -s /usr/local/redis-5.0.8/src/redis-sentinel /usr/local/bin
ln -s /usr/local/redis-5.0.8/src/redis-server /usr/local/bin
redis-server

開始agentpool
nohup python3 agentpool.py > agentpool.log 2>&1 &

Nginx逆エージェント
...	#    
server
{
	... #    
	location / {
		proxy_pass http://127.0.0.1:8000/;
		#proxy_pass http://www.nginx.com/;	#  
		#proxy_pass http://www.nginx.com/index.html;	#   
		proxy_set_header Host $host;
		proxy_set X-Real-IP $remote_addr;
		proxy_set X-Forwarded-For $proxy_add_x_forwarded_for;
	}
}

できないなら、次の3つの文章を見てもいいです.Nginxコンパイルインストールの詳細プロセスNginxの順方向エージェントと逆方向エージェント、および負荷分散と動静分離Nginxの最適化された高同時構成により、2万～3万同時量をサポート
python Webページのデータを取得しmysqlデータベースに格納
深さ学習MNIST手書きデジタル認識