scrapyはstart_にありますrequestsからparserにパラメータを入力
2109 ワード
scrapyはstart_にありますrequestsでリクエストを発行する場合は、動的制御のためにいくつかのパラメータを入力する必要があります.scrapyのリクエストの同時性を保証するために、シリアル実行に変更すると、効率に深刻な影響を及ぼすため、グローバル変数を使用する方法は考慮されません.したがってscrapyで使用することができる.Requestにmetaデータを追加する方法でparseにパラメータを入力し、次のコードの要求にmeta要素を追加し、regionIdフィールドを含み、parseで
def start_requests(self):
urlTemp='http://www.baidu.com'
urls = [urlTemp]
for url in urls:
yield scrapy.Request(url=url, meta={'regionId': 0}, callback=self.parse)
def parse(self, response):
print(response.meta['regionId'])