scrapyがpython3.7環境で動くようになったよ


3ヶ月ほど前、python3.7環境で動かした際に、下記参考ページに記載されているようなエラーが発生しました。
参考ページのリンク先にも説明がある通り、twistedがpython3.7に対応していないためのようです。

[Python]Scrapyを動かした時にSyntaxError: invalid syntaxとエラーが出る場合の対処法

2018-10-10にtwistedがpython3.7に対応

めでたく、2018-10-10に、twistedがpython3.7に対応しました。

Python 3.7 is now supported. (#9502)

twisted/NEWS.rst at twisted-18.9.0 · twisted/twisted

Dockerfile に下記設定をしたところ、問題なく動きました。

FROM python:3.7

RUN pip install -U pip
RUN pip install scrapy

twistedが18.9になっていますね

root@b4df9d560d37:/usr/src/app# pip freeze | grep -e Twisted -e Scrapy
Scrapy==1.5.1
Twisted==18.9.0