python3にScrapyをインストール

2948 ワード
Python Scrapy Python3 MacOSX Python テキストリンク

「PythonによるWebスクレイピング」を読んでいたら、一部でscrapyを使うことになったのだけど、うまくインストールできなかったので、その解決法を軽くまとめておきます
（ちなみに上記の本は主にBeautifulSoupを使ってスクレイピングします）

設定した環境

MacBook Air (13-inch, Mid 2011)
プロセッサ： 1.8 GHz Intel Core i7
メモリ： 4 GB 1333 MHz DDR3
バージョン： 10.11.5
Python: 3.6.2

Scrapyを入れてみる

1, 今回はPython3の環境に入れます。

$ pip3 install scrapy

すると…以下のエラーが出てしまいました。
どうやらpipのバージョンアップをすべきようです。

You are using pip version 8.1.1, however version 8.1.2 is available.

You should consider upgrading via the 'pip install --upgrade pip' command.

2, エラー文の指示に従って、pipをアップグレードします。

$ pip3 install --upgrade pip

ここでもまたエラーが…
今度はxcodeまわりのようです。

1 error generated.

*********************************************************************************

Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?

Perhaps try: xcode-select --install

*********************************************************************************

error: command '/usr/bin/clang' failed with exit status 1

3, 次もちょうど指示があるのでそれにならって、コマンドを打ちます。

$ xcode-select --install

xcode-select: note: install requested for command line developer tools

するとダイアログが表示されるので、同意してデベロッパーツールをDLをします。

4, ダウンロード後にもう一度、以下を実行すれば、インストール完了です。

$ sudo pip3 install scrapy

（中略）

Installing collected packages: lxml, parsel, scrapy
  Running setup.py install for lxml ... done
Successfully installed lxml-3.6.0 parsel-1.0.2 scrapy-1.1.0