scrapyはstart_にありますrequestsからparserにパラメータを入力

2109 ワード

scrapyはstart_にありますrequestsでリクエストを発行する場合は、動的制御のためにいくつかのパラメータを入力する必要があります.scrapyのリクエストの同時性を保証するために、シリアル実行に変更すると、効率に深刻な影響を及ぼすため、グローバル変数を使用する方法は考慮されません.したがってscrapyで使用することができる.Requestにmetaデータを追加する方法でparseにパラメータを入力し、次のコードの要求にmeta要素を追加し、regionIdフィールドを含み、parseで
    def start_requests(self):
    	urlTemp='http://www.baidu.com'
        urls = [urlTemp]
        for url in urls:
            yield scrapy.Request(url=url, meta={'regionId': 0}, callback=self.parse)

    def parse(self, response):
        print(response.meta['regionId'])