Pythonを使ったWebスクレーピング入門

目次

Pythonとは

ウェブスクレーピングとは何か

ウェブスクレーピングの間の違いは何ですか?

どのような私はPythonとウェブスクレーピングを行う必要がありますか?

どうやってやるの!

Pythonとは
要約すると、Pythonは素晴らしいプログラミング言語です.言語のいくつかの特徴は以下の通りです.

解釈

オブジェクト指向

ハイレベル

ダイナミック意味論

半結腸

Pythonは一般的にWebスクレーピング、人工知能、データサイエンスプロジェクトに使用されます.あなたはそれを完了するために24時間で最終的なプロジェクトを実装していない限り、このプログラミング言語を練習する時間がある場合は、快適で楽しい時間を実験します.
リンクはこちらthe official page.

ウェブスクレーピングとは何か
ウィキペディアの説明を見つけることができますhere. しかし、それを短くするには、Webページから情報を抽出するために使用されるテクニックです.それは他の名前を持ちます:「ウェブ収穫」、「ウェブデータ抽出」.

ウェブスクレーピングの間の違いは何ですか?
一部の人々は、彼らが平等であるかのように、この2つの用語を参照してくださいが、いくつかの違いがあります.
Webスクレーピングは、通常、1つのページを取るとその情報をスクラップするときです.
ウェブクローリングは、サイトに移動し、そのページのリンクを移動し、ユーザーが行くことができるすべての場所の分岐にクロール、より洗練された複雑なプロセスです.
意見を異にして、コメントを送ってください.

どのような私はPythonとウェブスクレーピングを行う必要がありますか?
まず最初にPython 3をインストールする必要があります.
この最初の手順を実行するには、いくつかのオプションがあります.
-に移動するPython.org そして、それらのステップに従ってください.
- Follow RealPython.com guide.
クール.
あなたがそれをインストールしたので、我々は出発するもう2つのものを必要とします.
次の2つのパッケージをインストールする必要があります:リクエストと美しいスープ.
インストールするには、次の2つのコマンドを実行できます.

  $ pip install requests
  $ pip install bs4

どうやってやるの?
優れた、今あなたが良いものを開始する準備ができているすべての前の手順を完了しました.
最新の実存的な漫画のテキストを私たちに与えるPythonスクリプトを作成しましょう.
擬似コードは次のようになります.

リクエストを作成し、サイトを解析するためのライブラリをインポートします.

ページのリクエストを作成します.

を返します.

それから、我々が簡単に使うことができる何かでHTMLページを解析してください.

HTML要素を探し、変数に格納します.

その後、コンソールにAltテキストを印刷します.

ドゥー!

  import requests
  from bs4 import BeautifulSoup

  # I decided to put it in a method just to re-use it later
  def get_upcoming_questions( url ):
    # print('Starting the request')
    req = requests.get( url )
    # print('Request completed')
    soup = BeautifulSoup( req.text, 'html.parser' )
    questions_raw = soup.find( 'div')
    questions = questions_raw.find( 'img',{'class':'comicImg'} )
    print( questions['alt'] )
  example_url = 'http://existentialcomics.com/'
  get_upcoming_questions( example_url )

なぜ私はこれが必要ですか?
今あなたがあまりにも忙しくて実在の漫画から素晴らしい漫画をチェックするだけであなたの新しいスクリプトを実行することができますし、哲学的ユーモアのあなたの毎日の線量を取得します.あなたはそれを必要と知っている.