Python爬虫類の部分は概念の解説を始めます。

Python爬虫類の部分を勉強するには、Pythonの基礎と先端に関する知識が必要です。
開発環境の紹介：

 window 10オペレーティングシステム

Python解釈器3.8

統合開発環境pycharm

データの出所と役割
データの出所は何ですか？

ユーザによって生成されたデータ：Baidu指数

政府統計のデータ：政府データ

データ管理会社：集約データ

自分で登り取ったデータ：ウェブサイトのいくつかのビデオを登り取ります。
データの役割

データ解析

スマートフォンの練習データ

その他（売買など）

 爬虫類に関する概念
 a）爬虫類の概念
爬虫類はアプリケーションで、インターネットから様々な資源をダウンロードします。
つまり、プログラミング言語を使ってウェブやアプリのデータアプリケーションを作成します。
データをどうやって登りますか？

は、目的のウェブサイトを見つけるために、

要請を開始した。

は、urlがどのように変化し、有用なurl

を抽出するかを分析する。

は、有用な情報を抽出する

。
爬虫類はどんなデータでも登れますか？
もちろんできません。一定の規則と協議を守らなければなりません。
京東のを見てもいいです。

許すものもあれば、許さないものもあります。
b）爬虫類

通用虫

Baiduなどの検索エンジンは、いくつかの初期のURLからサイト全体に広がり、主にポータルサイトの検索によって引き起こされ、大規模なウェブサイトのサービスとデータを収集する。

フォーカスサイト爬虫類

テーマネットワークの爬虫類、必要に応じて関連するページを選択的に爬虫類します。

インクリメンタルネットワーク爬虫類

すでにダウンロードしたページについては、更新知識と新たに作成したもののみを掲載します。
c）爬虫類の原理

 通用する爬虫類の原理

フォーカスネットワーク爬虫原理

 
d）各種言語による爬虫類の比較

 phpはマルチスレッドに対して、非同期サポートはあまり友好的ではなく、併発能力は弱い。速度と効率が低いです。

java：コード量が多く、再構成コストが高く、どのような変更でも多くの変更が発生します。爬虫類は常に採集コードを修正する必要があります。

Python：開発効率が高く、コードが簡潔で、サポートするモジュールが多く、HTTP要求やhtml解析モジュールも豊富で、scrapy、scrapy-redisフレームもあります。爬虫類の開発をより簡単にします。

ここでPython爬虫類の部分について解説した文章を紹介します。もっと関連するPython爬虫類の部分について解説します。以前の文章を検索したり、次の関連記事を見たりしてください。これからもよろしくお願いします。