pythonによる紳士達の性癖分析：Webスクレイピング編

# coding: UTF-8
import requests
from bs4 import BeautifulSoup
import re # 正規表現用
from time import sleep      # 待ち時間用
from pprint import pprint  # 改行付き配列出力
import csv

SCRAPING_INTERVAL_TIME = 5.5

ranking_category_total = (
    "http://*",
)

# ページネイションを含め、探査対象となるURL群を取得し配列に格納、返却する。
def getSearchTargetURLs(baseURLs) :

    for basePage in baseURLs :
        tgtpage = requests.get(basePage)
        pageUrls = []

        soup = BeautifulSoup(tgtpage.content, "html.parser")

        # ページネイションURLを取得
        pagenations = soup.select("li.ranking_pagination_item")

        # ページネイションが存在しない場合は単一ページだけなので入力URLのみリストに入れ続行
        if len(pagenations) == 0 :
            pageUrls.append(basePage)
            continue

        for pagina in pagenations :
            nexturl = pagina.find('a', href=True)
            pageUrls.append(nexturl['href'])

        # 重複要素を削除（順番を保持しない）
        pageUrls = list(set(pageUrls))

    pprint(pageUrls)

    return pageUrls

# 対象のプロダクトページが持つタグをすべて取得。タイトルと合わせて返す。
def getAttributeTags(tgturl) :
    tgtpage = requests.get(tgturl)

    sp = BeautifulSoup(tgtpage.content, "html.parser")

#    pageTitle = sp("h1")
    pageTitle = sp.select("h1")[0].text.strip()

    elems = sp.find_all(href=re.compile("work.genre"))

    tags = []

    for e in elems:
        tags.append(e.getText())

    print(pageTitle, end=" ")
    print(tags)
    return pageTitle, tags

# メイン処理スタート

# file open
f = open("RankingList.csv", "w")
writer = csv.writer(f, lineterminator="\n")
header = ["Title", "Tags"]
writer.writerow(header)

att_dict = {}

targetURLs = getSearchTargetURLs(ranking_category_total)

for url in targetURLs:

    # 対象URL : DLサイトランキング
    r = requests.get(url)

    # 第一引数＝解析対象　第二引数＝パーサー(何を元に解析するか：この場合はHTML)
    soup = BeautifulSoup(r.content, "html.parser")

    idx = 0
    # ランキングの順に従ってプロダクト名を取得する
    for rank in soup.select("dt.work_name"):

        idx+=1

        # タグ込文字列から個別ページへのURLを抽出（ひとつだけなのでfind_allでなくfind）
        tgturl = rank.find('a', href=True)

        # rankにはタグ等の情報も含まれているため、タイトルだけ抽出する
        # product_title = rank.getText()
        # product_title = product_title.strip()
        # print(str(idx) + " " + product_title + " " + str(tgturl['href']))

        # タグ抽出用関数に個別ページのURLを渡し、タグ群を取得
        title, tags = getAttributeTags(tgturl['href'])

        # {タグ, そのタグを発見した数}の形式で連想配列に格納。
        for tag in tags:
            att_dict[tag] = (att_dict.get(tag) or 0) + 1

        tags.insert(0, title)
        writer.writerow(tags)

        if (idx == 10) :
            break

        sleep(SCRAPING_INTERVAL_TIME)

    sleep(61)

f.close()

# 発見したタグとその数の一覧をCSV出力
f = open("TagList.csv", "w")
writer = csv.writer(f, lineterminator="\n")
header = ["Tag", "Count"]
writer.writerow(header)

csvline = []
for att in att_dict :
    csvline = [att, att_dict[att]]
    writer.writerow(csvline)

f.close()

Title,Tags
堕落***,女王様/お姫様,ラブラブ/あまあま,退廃/背徳/インモラル,中出し,処女
制服***,癒し,バイノーラル,少女,耳かき,ラブラブ/あまあま,ほのぼの
無口***,少女,セーラー服,電車,無理矢理,中出し,調教
【バ***,癒し,お姉さん,着物/和服,耳かき,中出し,フェラチオ
おい***,逆転無し,人外娘/モンスター娘,ファンタジー,丸呑み,逆レイプ,男性受け
(F***,バイノーラル,足コキ,パイズリ,言葉責め,焦らし,男性受け
ウラ***,ポリゴン,首輪/鎖/拘束具,ムチ/縄/蝋燭,売春/援交,調教,監禁
ニプ***,連続絶頂,戦士,バニーガール,アヘ顔,ツインテール,巨乳/爆乳

Tag,Count
ポニーテール,6
輪姦,23
スーツ,1
メガネ,2
盗撮,1
陵辱,58
ヤクザ/裏社会,1
女王様/お姫様,9
口内射精,2