Python Crawling (Selenium ..)

1735 ワード
テキストリンク

Python Crawling (Selenium ..)


  • ネットゲームで最もよく使われるSeleniumについて

  • スクロール時に最も多く聞いたライブラリはBeautifulSoupであるはずですが、最近では多くのサイトでJSを使用して動的に実装されていますが、BeautifulSoupでは動的な操作でスクロールすることはできません.すなわち、urlに表示される文字のみをキャプチャする.
    この時にSeleniumを使うと
  • JS動的作成データスクロール可能
  • 以上のHTML要素にクリックなどのイベントを適用できます.

    • インストールと読み込み


    環境に応じてpip install seleniumまたはconda install seleniumを使用してインストールします.
    seleniumを使用してスクロールする場合は、クロムブラウザをさらに制御するためにクロムドライバをインストールする必要があります.
    https://chromedriver.chromium.org/downloadsに独自のクロムバージョンのドライバをインストールします.
    自分のクロムバージョンは右上の3つのポイント->ヘルプ->クロム情報で確認できます.自分に合ったバージョンを受け入れる.
    受け取ったファイルはPythonファイルが生成された場所に保存されます.

    使用方法

  • importと配線
    • from selenium import webdriver

driver=webdriver.Chrome('./chromedriver.exe')
# 위의 드라이버를 파이썬파일이 생성되는 곳과 같은곳에 저장하였으면 이렇게 작성하고 아니면 웹드라이버가 저장되어 있는 절대경로로 작성한다.
  • ページ
    • を開く
    driver.get(target_url)
  • イベント
    • について
    driver.find elementby xpath(xpath値).click()
    driver.find element by name(使用する別名).send keys(使用するエンティティ)
    など、イベントを発生させることができます.使用するエンティティはctrl+shift+cで見つけるか、開発者ツール(F 12)->選択で見つけることができます.
    +追加
    オプションとファクタ
    Gitのデフォルトブランチをマスターから変更