PythonでITニュースサイトの見出しをWebスクレイピング

# Requestsインストール
pip install requests

# Beautiful Soupインストール
pip install bs4

# coding: UTF-8
# モジュールインポート
import requests
from bs4 import BeautifulSoup

# OSDN magazineのURLを変数に確認
URL = 'https://mag.osdn.jp/news/'

# requests.get()でHTMLを取得
result = requests.get(URL)

# BeautifulSoupの機能、html.parserでHTMLやXMLをパースできる。
data1 = BeautifulSoup(result.text, 'html.parser')

# find_allでclassを指定し、見出しを取得
data2 = data1.find_all("h2", class_="entry-title")

# URLを出力
print(URL)

# 配列に格納された値をfor文とprint文で出力
for item in data2:
    print(item.getText())

https://mag.osdn.jp/news/
「Rust 1.37」リリース
米Microsoft、JVMのチューニング技術を持つjClarityを買収
「MongoDB 4.2」公開、Wildcard Index導入など
「Git 2.23」リリース、「git switch」や「git restore」コマンドを実験的に導入
VJにも利用できるオープンソースの動画エディタ「LiVES 3.0」リリース
Fedora Rawhideに対応、エンタープライズLinux向け拡張パッケージ「EPEL 8」が公開
米Microsoft、ソースコードエディタ「Visual Studio Code 1.37」をリリース
「GCC 9.2」リリース
…省略

#Blog1 > div.blog-posts.hfeed > div:nth-child(1) > div > div.post-outer > div > h3 > a

# coding: UTF-8
# モジュールインポート
import urllib.request, urllib.error
from bs4 import BeautifulSoup

# サイトURLを変数に格納。
URL = "https://blog.tokumaru.org/"

# URLにアクセス。戻り値はアクセスした結果やHTMLを返す。
r = urllib.request.urlopen(URL)

# アクセス結果からHTMLを取り出し、BeautifulSoupの機能でhtmlパースする。
soup = BeautifulSoup(r, "html.parser")

# URLを出力
print(URL)

# CSSセレクタを使って指定した場所を表示。.textでhtmlではなくtext形式となる。
print(soup.select_one("#Blog1 > div.blog-posts.hfeed > div:nth-child(1) > div > div.post-outer > div > h3 > a").text)

https://blog.tokumaru.org/
PHPサーバーサイドプログラミングパーフェクトマスターのCSRF対策に脆弱性