Python Web Crawlingベース

3100 ワード
vscode selenium python chromedriver Crawling anaconda テキストリンク

スクロールカーブ

  • Web上のコンテンツの収集(プログラミングによる自動化)
    -HTMLページをインポートし、HTML/CSSなどをグループ化し、必要なデータのみ抽出
    -受信したデータから必要なデータを抽出するためにOpenAPIを呼び出す
    -プログラム操作Seleniumなどのブラウザで必要なデータのみ抽出する

    • Chrome WebブラウザとSeleniumを使用して、Pythonで簡単なWebスクロールを試みます。


    chromedriverでChromeバージョンに準拠したChromeDriverを受け入れる

    Chromeバージョン100.0.48898.60を確認します.

    同じバージョンを受け入れます.flask_env仮想環境が有効になったら、pip install selenuimコアを取り付けます.

    必要なライブラリをインポートします。

    import selenium
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import time

    Webドライバパスを設定し、韓国語に設定して設定したコードを適用します.
    ターゲットURLを設定してそのURLを呼び出すコード.

    [ターゲットURL]画面で、必要な部分を右クリックし、[チェック]をクリックします.

    ターゲットURLから
    Copy full XPathをクリックして貼り付け、値を入力します.
    入力値は三星電子を入力し、NAVERで三星電子を検索する.
    同様に、ボタン部分もチェックでCopy full XPathに入れます.

    三星(サムスン)電子を検索する窓口で、現在の株価Copy full XPathを選択して入力し、出力する.
    data.pyファイルを実行すると、Chromeブラウザが自動的に開き、NAVER URLをロードして三星電子をスキャンします.

    ターミナルウィンドウには、現在の株価が69600であることが表示されます.
    Chromedriver.exeはウィンドウを閉じるために終了しません.
    cmdウィンドウでは、入力taskkill -f -pid chrome.exeが終了して終了する.
    サーバ側Socketによるマルチスレッド通信
    何の見当もつかないFE路線図🚚