seleniumを使用してWebページをスクロールし、scrapy shellで応答をデバッグする方法

scrapy shellの使用方法
一般的にSpiderの解析プロセスをチェックするために、scrapy shellに入り、CSSセレクタが間違っているかどうかを確認するなど、いくつかのコードテスト解析ロジックに問題があるかどうかをテストします.shellに入る方法は次のとおりです.

$ scrapy shell example.com
2018-09-12 12:25:17 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2018-09-12 12:25:17 [scrapy.core.engine] INFO: Spider opened
2018-09-12 12:25:17 [scrapy.core.engine] DEBUG: Crawled (200)  (referer: None)
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    
[s]   item       {}
[s]   request    
[s]   response   <200 http://example.com>
[s]   settings   
[s]   spider     
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser
In [1]: print(response)
<200 http://example.com>

shellでは、HTTP要求が受信した応答を表すresponseの変数がいくつか提供される.次のようにテストできます.

In [7]: response.css('body div h1::text').extract_first()

に質問
しかし、もし私たちの応答がseleniumを通じてブラウザでレンダリングされた後に戻ったとしたら?このとき,scrapy shellに直接アクセスするとブラウザレンダリング後のresponseは得られず,HTTPリクエスト後のresponseが得られ,JSスクリプトは実行されなかった.
例えば、淘宝商品リストページに登ります.

$ scrapy shell https://s.taobao.com/search?q=%E5%B0%8F%E7%B1%B38&s=44

scrapy shellへ

In [6]: xpath = '//div[@id="mainsrp-itemlist"]//div[@class="items"][1]//div[contains(@class, "item")]'

In [7]: response.xpath(xpath)
Out[7]: []

scrapy shellに直接アクセスし、応答中のHTMLには商品リストノードがありません.
解決策
Google検索scrapy shell seleniumには適切な答えが見つかりませんでした.公式ドキュメントで答えを見つけると、spiderでscapy shellに入ることができます.responseがspiderに転送されたとき、SeleniumDownloaderMiddlerware(自分で書いたミドルウェア)でレンダリングされました.このとき、商品リストはresponseのHTMLに入っています.だから、CSSセレクタをテストすることができます.

# -*- coding: utf-8 -*-
from scrapy import Spider, Request
from scrapytaobao.items import ProductItem

class TaobaoSpider(Spider):
    name = 'taobao'
    allowed_domains = ['www.taobao.com']
    base_url = 'https://s.taobao.com/search'

    def start_requests(self):
        ...
   
    def parse(self, response):
        from scrapy.shell import inspect_response
        inspect_response(response, self)

spiderの解析方法では、inspect_response()が呼び出され、responseおよびspiderのインスタンスが入力される.そして私たちは爬虫類を運転します.

$ scrapy crawl taobao
2018-09-12 12:27:48 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request
2018-09-12 12:27:48 [scrapy.core.engine] DEBUG: Crawled (200)  (referer: None)
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    
[s]   item       {}
[s]   request    
[s]   response   <200 https://s.taobao.com/search?q=%E9%AD%85%E6%97%8F&s=0>
[s]   settings   
[s]   spider     
[s] Useful shortcuts:
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser
In [1]:

scrapyが要求コールバックメソッドを実行すると(parse)、scrapy shellに入ります.responseのHTMLにJSレンダリングの商品リストが本当に含まれているかどうかを確認します.

In [1]:  xpath = '//div[@id="mainsrp-itemlist"]//div[@class="items"][1]//div[contains(@class, "item")]'

In [2]: response.xpath(xpath)
Out[2]:
[,
 ,
...]

scrapy shellでブラウザレンダリングをデバッグする応答の問題を解決した商品リストが表示されます.