PythonでWebスクレイピング

• ライブラリ
  よく使う関数・機能を簡単にまとめたもの

• モジュール
  関数やクラスなどを一つのPythonファイルにまとめたもの

PythonでのWebスクレイピングでよく使うライブラリ

• Selenium
  ブラウザ操作を自動化できる(値をコピー、クリック、入力ボックスに値を入れる)
• BeautifulSoup
  HTMLを読み取る(ページのタイトルやURLを取得)

インポート

• jupyter labでselenium, time, pandasのインポートをする

from selenium import webdriver
import time
import pandas as pd

Pandas

Excelやcsv操作、グラフ化、データの集計や加工を行うライブラリ

• jupyter labでBeautifulSoup, urllibのインポート

from bs4 import BeautifulSoup
import urllib.request as req

urllib

URLを扱うPythonのライブラリ