from bs4 import BeautifulSoup
from selenium import webdriver

import pandas as pd
import csv
import time

#作成したExcel/Csvを保存するフォルダを指定
export_file_path="**********"

#ブラウザの立ち上げ
browser=webdriver.Chrome("**********")
browser.implicitly_wait(1)

url="**********"
#指定したURLへ遷移する
browser.get(url)

#検索ボックスを指定
elem=browser.find_element_by_name("**********")
elem.clear()

#任意のキーワードをinput()関数にて入力
elem.send_keys(input("**********"))
time.sleep(1)

#検索ボタンをクリック
browser_from=browser.find_element_by_xpath("**********")
browser_from.click()

#任意のボタンをクリック
browser_from=browser.find_element_by_xpath("**********")
browser_from.click()

#任意のページ数をクローリング
#range()関数内の数値を減らしたり増やしたりしてクロール数を調整
for i in range(30):
    #ブラウザで開いたページのhtmlを取得
    soup=BeautifulSoup(browser.page_source,"lxml")

    #抽出したいデータを解析
    a=soup.find_all("*****",{"*****":"*****"})

    #タイトルを取得
    title=[i.find("*****").string for i in a]

    #URLを取得
    url=[i.find("*****").attrs["*****"] for i in a]

    #タイトルとURLという辞書型を作成
    dict_from={"タイトル":title,"URL":url}

    #作成した辞書型からデータフレームに変換
    title_list=pd.DataFrame.from_dict(dict_from)

    #指定したフォルダにExcel/Csvを名前を付けて保存
    with open(export_file_path + "\\" + "**********",mode="a",
              encoding="Shift-JIS",newline="",errors="ignore") as f:
        title_list.to_csv(f)

    #指定したページ数に満たない場合エラーを吐いて停止しないようにします
    try:
        #指定したボタンがある限りクリックを繰り返します
        browser_from=browser.find_element_by_xpath("**********")
        browser_from.click()
    except:
        #指定したボタンが無くなればブラウザを閉じて終了させます
        browser.close()

        break