python 3環境のscrapy環境のインストール

1193 ワード

概要
Scrapyは、Webサイトのデータを取得し、構造的なデータを抽出するために作成されたアプリケーションフレームワークです.データ・マイニング、情報処理、履歴データの格納など、一連のプログラムに適用できます.最初は、ページキャプチャ(より正確には、ネットワークキャプチャ)のために設計する.
インストール中に問題が発生しました.環境はpython 3です.6.3、この新しいバージョンはscrapyによくサポートされていない可能性があります.そのため、インストールに依存していません.
python 3環境インストール
scrapyのインストール
1、インストールpip3 install scrapyはhttpsがサポートされていないことを示すため、opensslの問題がないためopensslパッケージをインストールし、python 3環境を再コンパイルして実行する可能性があると推測される.2、pip3 install scrapyヒントTwistedパッケージが欠けているのでインストールしましょう
wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2

tar -jxvf Twisted-17.1.0.tar.bz2

cd Twisted-17.1.0

python3 setup.py install

次にpip3 install scrapyを装着すればよい