[Py-Stairs] Step.3-4期ニュースリーダー

入る前に。

Step.3から波乱万丈の失敗の時代が始まった.
私が埋めたい部分は何ですか.正確に発展するには、どのような勉強が必要ですか.
理解できる時間なので大きな挫折はありませんでしたが….これらはすべて不快なステップです.

設定

従来,ユーザから情報を受信して処理するプログラムのみが作成されている.
今日はその方法から抜け出して、外部から自分で情報処理を取得するプログラムを書きたいと思います.
私は計画を重視する.より効率的に生活するために悩む.
1週間前に多くのプログラムを制定して、私はこのような生活様式が私と気が合うことに気づいた.
様々なプログラムの中で、「資金の流れを読む習慣」という本を参考にして制定された経済プログラムがある.
午前中に5つの経済指標を確認し、ニューヨークの終値を読み、夜7時に終値のニュースを読む.
このプログラムを守るにはいくつか不便な点があります.
NAVERアプリを使わないので、NAVERで締め切りを確認します.
ネイバー経済ニュースを読むためのプロセス「CROM->NAVER->ニュース検索」は、想像以上に面倒です.
邪魔ではありませんが、確かに面倒です.
そしてプログラムごとに携帯電話の目覚まし時計を設置し、
外でアラームが鳴ると「あ~これはアラームです」説明と消しの過程も面倒だ.
そのため、この2つの問題を解決するためのプログラムを制定し、経済プログラムをよりスムーズにすることにした.

Step.3最終ニュースリーダー

Step.三路はプログラムを手配して、最後のニュースの内容を時間通りにコピーして私のパソコンに保存しようとした.
テーマを決める前に、「外部との接続」という私の頭の中の概念を明確にするために、グーグルゲームをしました.
googlingにより、ライブラリ内のurllibには、Webの応答と応答を要求するモジュールがあることがわかりました.
そしてurllib.requestモジュールの上位互換requestライブラリとともに推奨されるbemiulsgroup 4については,3つのライブラリがインストールされていることが分かった.
まず、NAVERホームページを検索するコードを共有していたので振り返ってみました.

import urllib.request

url = 'https://naver.com'
def req(url):
    res = urllib.request.urlopen(url)
    byte_data = res.read()
    text_data = byte_data.decode('utf-8')
    return text_data

webpage=req(url)
print(webpage)

その後、ネイバー経済ニュースページを読んでみました.
それから狂ったError天国が始まった.

Remote end closed connection without response

urlを変更すると、リモート側が接続を閉じて応答エラーが発生しません.
これは何かと思ったので、エラーをコピーして検索しました.
Googleの検索結果、私のPythonコードがロボットと認識され、サーバーのロボットが検出され、接続が拒否されたことがわかりました.
同時に,ネットワークスクロールの概念も一目瞭然である.
ネットワークローミングを行うためには、ロボット探知を避ける必要が少なくないようです.
△この場合、Webスクロールについて深く検討していませんが、私のプログラムに必要な内容を取得したいだけです.
探査の機会を実現するためには、まず人間のように情報収集の機能を実行しなければならない.
このようなダイナミックな機会のために特別に存在するSeleniumライブラリがあることがわかりました.
フラッシュを取り付け、フラッシュ動作に必要なクロムドライバを取り付けました.

SyntaxError: (unicode error)

from selenium import webdriver

cpath = 'C:\Users\gram\anaconda3\envs\py_seung_env\chromedriver_win32\chromedriver_win32.exe'
driver = webdriver.Chrome(cpath)

このコードを実行すると、SyntaxError:(Unicode error)にエラーが発生します.
クロムドライバパスのはUnicodeに対応する特殊文字なのでエラーが発生しました.
解決策は、を/またはに変更するか、パスの前にr(元の文字列を表す)を追加して、特殊文字の取得を回避することです.

from selenium import webdriver

cpath = r'C:\Users\gram\anaconda3\envs\py_seung_env\chromedriver_win32\chromedriver_win32.exe'
driver = webdriver.Chrome(cpath)

パスの前にrを追加し、コードを再実行します.
今度はもう一つの間違いがあった.

'chromedriver_win32.exe' executable needs to be in PATH.

selenium.common.exceptions.WebDriverException: Message: 'chromedriver_win32.exe' executable needs to be in PATH.コードは「」とともに実行されません.
コードは私のクロムドライバのパスが見つからないようです.
エラー内容でGoogle化してみましたが、Chromeドライバの再インストール、ドライバパスの変更(プロジェクトファイルと同じパス/ファイル参照ファイルと同じパスに保存)など様々な方法を知り、試行錯誤を繰り返しましたが、エラーは解決しませんでした.
間違った時間がたくさんかかったので疲れました.
これ以上他の日程に時間と労力を費やすことはできません.
結局この日は答えが見つからなかった.

翌日

きのう3を放棄することを最後にして、心の中はとても味がありません.
最終Step昨日のプロジェクトを4で続けることにしました.
昨日グーグルリンクで何度もアクセスしたリンク(https://edu.goorm.io/qna/6065)から、昨日見なかった情報が得られました.

昨日、気に入らない文を見ました.
繰り返しのミスでかなりのエネルギーを消費していたせいか、視界が狭まっていました.(文字が読めないようですが…)
6月末に深い勉強をするためにAnacondaを設置しました.
後のStep0開発環境整備の過程でパイプを設置し、何の措置も取らずにプロセスを継続した.
アナコンダッフィーのパス競合を検索しました.

アナコンダとパイは本当に。

グーグルでアナコンダとパイチームの詳細を検索しました.
https://hyunlee103.tistory.com/58では、「仮想環境競合」の概念と、この問題を解決するために、アナコンダ仮想環境を真の企業に指定するプロセスについて説明しています.
Linkの説明に従ってAnaconda仮想環境を作成し、Interpreterに設定します.
Step.これは0から0の未熟さによる必然的な誤りであり、私は「はい、これは良い過程です」と驚嘆した.コードの再実行を考えています.
しかし、誤りは解決されなかった.

Webスクロール

今、間違いを解決するために、何を探しているのかさえ分からない.
昨日と同じ過程を繰り返したが、解決は不可能だった.
そして、昨日間違いなくめくったページスクロールの概念を思い出しました.
ネットゲームを研究すれば、解決策が見つかるのではないでしょうか.
ページを検索してスクロールすると、Velogの投稿が表示されます.
https://velog.io/@mowinckel/%EC%9B%B9-%ED%81%AC%EB%A1%A4%EB%A7%81-I
△Velogについて初めて知りました.
上記の投稿で有益な情報が得られました.
まず、私が作成するプログラムは小さなプログラムで、ネット爬虫類とは言えません.
また,アルゴリズムを深く研究しなければ,将来のプロジェクトで発生する可能性のある多くの問題を解決する能力がない.

わたしの浅薄さ

私にとって、より高いレベルの探索は必要です.
上の投稿を通じて、私の「浅い」認識を明確にすることができます.
私はもっと誠実な態度でこの深い世界に投入する必要があります.

n/a.結論

最終的なエラーは解決されず、最終的なニュースリーダープロジェクト(現在)は失敗しました.
しかし、この過程を通じて、私はどのような姿勢で残りのプロジェクトに直面し、何を学ぶべきかを知った.
今日の成功:間違った天国、知らない用語の天国、Verlog、Meta
今日の失敗:エラー天国、プロジェクトの終了失敗

リファレンスリンク

https://noodle-dev.tistory.com/41
https://www.python2.net/questions-707830.htm
https://greeksharifa.github.io/references/2020/10/30/python-selenium-usage/#install
https://l0o02.github.io/2018/06/12/python-crawling-selenium-1/
https://nanchachaa.tistory.com/18
https://haloaround.tistory.com/215
https://hyunlee103.tistory.com/58
https://velog.io/@mowinckel/%EC%9B%B9-%ED%81%AC%EB%A1%A4%EB%A7%81-I
https://lyb1495.tistory.com/17
https://www.google.com/intl/ko/search/howsearchworks/crawling-indexing/