scrapyデータ収集器データリモート取得

scrapyのデータコレクターでは、爬虫状態のデータをリアルタイムで記録できます.デフォルトでは、爬虫終了時に印刷されます.

C:\Anaconda2\Lib\site-packages\scrapy\statscollectors.py
class StatsCollector(object):

    def __init__(self, crawler):
        self._dump = crawler.settings.getbool('STATS_DUMP')
        self._stats = {}

    ......

    def close_spider(self, spider, reason):
        if self._dump:
            logger.info("Dumping Scrapy stats:
" + pprint.pformat(self._stats),
                        extra={'spider': spider})
        self._persist_stats(self._stats, spider)

    def _persist_stats(self, stats, spider):
        pass

上にはデータ収集器のソースコードがあり、close_に表示されます.spiderではself.statsが印刷され、デフォルトで収集された情報は以下の通りです. 

   ：
{'downloader/request_bytes': 20646,
 'downloader/request_count': 47,
 'downloader/request_method_count/POST': 47,
 'downloader/response_bytes': 673679,
 'downloader/response_count': 47,
 'downloader/response_status_count/200': 47,
 'finish_reason': 'shutdown',
 'finish_time': datetime.datetime(2018, 7, 24, 6, 31, 1, 84791),
 'item_scraped_count': 460,
 'log_count/CRITICAL': 4,
 'log_count/DEBUG': 510,
 'log_count/ERROR': 1,
 'log_count/INFO': 74,
 'login_faild': False,
 'request_depth_max': 46,
 'response_received_count': 47,
 'scheduler/dequeued': 47,
 'scheduler/dequeued/memory': 47,
 'scheduler/enqueued': 48,
 'scheduler/enqueued/memory': 48,
 'spider_exceptions/KeyError': 1,
 'start_time': datetime.datetime(2018, 7, 24, 6, 12, 27, 74073)}

終了時にfinish_がありますreason,finish_timeの2つの値は、実行時にはありません.
データコレクタでは、開発者を追加してカスタムデータを収集できます.
spiderで:

self.crawler.stats.set_value("login_faild", False)

MiddlewareとPipelineで:

spider.crawler.stats.set_value("login_faild", False)

コレクタ内のデータをリモートで取得する方法について
1つ目は、保存後に取得し、downloadMiddlewareでステータス情報をredisに書き込み、読み取り:

import redis
import time
import requests


class StatCollectorMiddleware(object):
    def __init__(self):
        self.r = redis.Redis(host='localhost', port=6379, db=0)
        self.time = lambda: time.strftime('%Y-%m-%d %H:%M:%S')

    def process_request(self, request, spider):
        stats = spider.crawler.stats.get_stats()
        for key, value in stats.items():
            value = {"value": [self.time(), key_value]}
            self.insert2redis(key, value)

    def insert2redis(self, key, value):
        self.r.rpush(key, value)

2つ目は、Telnet Consoleを使用して取得し、まずsettingを構成し、外部ネットワークへのアクセスを許可し、6023ポートを開くことを覚えておいてください.

TELNETCONSOLE_HOST = '0.0.0.0'
TELNETCONSOLE_PORT = [6023, 6073]

デフォルト設定

TELNETCONSOLE_HOST = '127.0.0.1'
TELNETCONSOLE_PORT = [6023, 6073]

次に

import telnetlib
tn = telnetlib.Telnet('192.168.2.89', port=6023, timeout=10)
tn.write('stats.get_stats()'+'
')
tn.read_very_eager() 

結果:

In [1]: import telnetlib

In [2]: tn = telnetlib.Telnet('192.168.2.89', port=6023, timeout=10)

In [3]: tn.write('stats.get_stats()'+'
')

In [4]: stat = tn.read_very_eager() 

In [5]: print stat

>>> stats.get_stats() 
{'log_count/INFO': 45, 'start_time': datetime.datetime(2018, 7, 24, 6, 49, 26, 572021), 'log_count/DEBUG': 394, 'login_faild': False, 'sched uler/enqueued/memory': 37, 'scheduler/enqueued': 37, 'scheduler/dequeued/memory': 37, 'scheduler/dequeued': 37, 'downloader/request_count':  37, 'downloader/request_method_count/POST': 37, 'downloader/request_bytes': 16286, 'downloader/response_count': 37, 'downloader/response_sta tus_count/200': 37, 'downloader/response_bytes': 531739, 'response_received_count': 37, 'item_scraped_count': 354, 'request_depth_max': 35,  'log_count/ERROR': 1, 'spider_exceptions/KeyError': 1, 'log_count/CRITICAL': 4} 
>>>  

複数の爬虫類がある場合は、競合を回避するためにspiderにポートを構成できます.

custom_settings = {
    "TELNETCONSOLE_PORT": [6029, ]
}

これにより、ローカルエリアネットワークでテストされているが、外部ネットワークでも同様にステータス情報をリモートで取得できます.