【Python】初心者でスクレイピングする時に冒頭脳死して書けるコード
スクレイピングをするときに毎回毎回
test.py
from bs4 import BeautifulSoup
とこのように記述するのが面倒くさいので、とりあえずこれ使っとけば間違いなしのテンプレートを作成します。
test.py
!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
!pip install selenium
!pip install requests-html
まずはライブラリ関係。
私は普段clbを使っているので、とりあえずこれ入れとく。
test.py
import pandas as pd
import datetime
from tqdm.notebook import tqdm
import requests
from bs4 import BeautifulSoup
import time
import re
from urllib.request import urlopen
import urllib.request, urllib.error
from requests_html import HTMLSession
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
# htmlを取得するところまで
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome('chromedriver',options=options)
driver.implicitly_wait(10)
url="https://www.XXX.com"
driver.get(url)
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, "html.parser")
はい、ここまで脳死でコピペでOKです。
あとは
test.py
soup
これで、とりあえずhtmlを出力するところまではものの数秒で到達できます。
厳密に言えば、tqdmとか使ってないライブラリもあるんですけど、個人的にスクレイピングするときにほぼ毎回セットで使用しているライブラリをインポートするコードも全部詰め込んでます。
私自身、これでコピペして使いまくってます。
Author And Source
この問題について(【Python】初心者でスクレイピングする時に冒頭脳死して書けるコード), 我々は、より多くの情報をここで見つけました https://qiita.com/genki-mii/items/85b41be07fc6c76fa48f著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .