[スパルタエンコーディングクラブ]Web開発総合クラス-第3週開発ログ


📚 [カリキュラムの目標]
1.Pythonの基礎文法をマスターする.
2.必要なページをスクロールできます.
3.pymongoでmongodyを制御できます.
パイ
1.Python開始
1)Pythonのインストールの意味
Pythonをインストールしますか?
  • の翻訳パッケージをインストールし、Python構文をコンピュータ言語に変換するソフトウェアパッケージをインストールします.
    2)Pythonの文法を始める前に...
  • Pythonはとても直感的な言語がたくさんあります→言える
  • 2.Python基礎学習
    1)Python基礎文法
  • 変数&基本演算
  • a = 3      # 3을 a에 넣는다
    b = a      # a를 b에 넣는다
    a = a + 1  # a+1을 다시 a에 넣는다
    
    num1 = a*b # a*b의 값을 num1이라는 변수에 넣는다
    num2 = 99 # 99의 값을 num2이라는 변수에 넣는다
    
    # 변수의 이름은 마음대로 지을 수 있음!
    # 진짜 "마음대로" 짓는 게 좋을까? var1, var2 이렇게?

  • データ型

  • 数字、文字
    name = 'bob' # 변수에는 문자열이 들어갈 수도 있고,
     num = 12 # 숫자가 들어갈 수도 있고,
    
     is_number = True # True 또는 False -> "Boolean"형이 들어갈 수도 있습니다.
    
     #########
     # 그리고 List, Dictionary 도 들어갈 수도 있죠. 그게 뭔지는 아래에서! 

  • リスト(Javascriptの配列と同じ)
    a_list = []
     a_list.append(1)     # 리스트에 값을 넣는다
     a_list.append([2,3]) # 리스트에 [2,3]이라는 리스트를 다시 넣는다
    
     # a_list의 값은? [1,[2,3]]
     # a_list[0]의 값은? 1
     # a_list[1]의 값은? [2,3]
     # a_list[1][0]의 값은? 2  

  • Dictionary(JavaScriptのDictionaryと同じ)
    a_dict = {}
     a_dict = {'name':'bob','age':21}
     a_dict['height'] = 178
    
     # a_dict의 값은? {'name':'bob','age':21, 'height':178}
     # a_dict['name']의 값은? 'bob'
     # a_dict['age']의 값은? 21
     # a_dict['height']의 값은? 178

  • DictionaryとListの組み合わせ
    people = [{'name':'bob','age':20},{'name':'carry','age':38}]
    
     # people[0]['name']의 값은? 'bob'
     # people[1]['name']의 값은? 'carry'
    
     person = {'name':'john','age':7}
     people.append(person)
    
     # people의 값은? [{'name':'bob','age':20},{'name':'carry','age':38},{'name':'john','age':7}]
     # people[2]['name']의 값은? 'john'

  • n.関数

  • 関数の定義-任意に名前を付けることができます!
    # 수학문제에서
     f(x) = 2*x+3
     y = f(2)
     y의 값은? 7
    
     # 참고: 자바스크립트에서는
     function f(x) {
         return 2*x+3
     }
    
     # 파이썬에서
     def f(x):
         return 2*x+3
    
     y = f(2)
     y의 값은? 7

  • 関数の適用
    def sum_all(a,b,c):
      return a+b+c
    
     def mul(a,b):
       return a*b
    
     result = sum_all(1,2,3) + mul(10,10)
    
     # result라는 변수의 값은?

  • 条件文

  • if/elseに設定!
    def oddeven(num):  # oddeven이라는 이름의 함수를 정의한다. num을 변수로 받는다.
       if num % 2 == 0: # num을 2로 나눈 나머지가 0이면
          return True   # True (참)을 반환한다.
       else:            # 아니면,
          return False  # False (거짓)을 반환한다.
    
    result = oddeven(20)
    # result의 값은 무엇일까요?
    def is_adult(age):
       if age > 20:
        print('성인입니다')    # 조건이 참이면 성인입니다를 출력
       else:
        print('청소년이에요')  # 조건이 거짓이면 청소년이에요를 출력
    
       is_adult(30)
       # 무엇이 출력될까요?

  • 複文

  • Pythonの繰り返し文は、リストの要素を1つずつリストする形式です.
  • 4(無条件リスト)
    fruits = ['사과','배','감','귤']
    
     for fruit in fruits:
       print(fruit)
    
    # 사과, 배, 감, 귤 하나씩 꺼내어 찍힙니다.
  • 2)Pythonパッケージのインストール

  • セットメニュー.ライブラリ.
    Pythonでは、パッケージはモジュール(機能)のセットです.これらのパッケージのセットをライブラリと見なすことができます.これで、外部ライブラリを使用するためにパッケージをインストールします.
    つまり、ここにパッケージをインストール=外部ライブラリをインストール!
  • 仮想環境(仮想環境)とは?
    プロジェクトごとにパッケージを加工する
    同じシステム上で実行される他のPythonアプリケーションの動作に影響を与えないように、Python導入パッケージをインストールまたはアップグレードできる独立した実行環境.
    出典:Python公式用語集-仮想環境

  • pip(Python install package)-インストールリクエストパッケージ
    ✅pipを使用して仮想環境(ツールボックス)に新しいプロジェクトのライブラリをインストールする
  • プロジェクトインタプリタ画面で、+ボタンを押すと次のウィンドウが表示されます.
  • 3)Pythonパッケージの使用

  • Requestsライブラリ+List/Dictionary/関数/IF/FOR文を使用した練習

  • 以下の方法でソウル市大気OpenAPIから中欧NO 2値を取得
    import requests # requests 라이브러리 설치 필요
    
    r = requests.get('http://openapi.seoul.go.kr:8088/6d4d776b466c656533356a4b4b5872/json/RealtimeCityAir/1/99')
    rjson = r.json()
    
    print(rjson['RealtimeCityAir']['row'][0]['NO2'])

  • 全てのボールを撮影するIDEX MVL値
    import requests # requests 라이브러리 설치 필요
    
    r = requests.get('http://openapi.seoul.go.kr:8088/6d4d776b466c656533356a4b4b5872/json/RealtimeCityAir/1/99')
    rjson = r.json()
    
    gus = rjson['RealtimeCityAir']['row']
    
    for gu in gus:
        print(gu['MSRSTE_NM'], gu['IDEX_MVL'])  

  • IDEX MVL値が60未満
    import requests # requests 라이브러리 설치 필요
    
    r = requests.get('http://openapi.seoul.go.kr:8088/6d4d776b466c656533356a4b4b5872/json/RealtimeCityAir/1/99')
    rjson = r.json()
    
    gus = rjson['RealtimeCityAir']['row']
    
    for gu in gus:
        if gu['IDEX_MVL'] < 60:
            print (gu['MSRSTE_NM'], gu['IDEX_MVL'])
  • Webスクリプト(スクロール)
    1.Webスクリプト(スクロール)ベース

  • Webページex)のタイトルを参照
    https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=pnt&date=20200303

  • パッケージの追加(美化グループ4)
    bs4

  • デフォルトのスクロール
    import requests
     from bs4 import BeautifulSoup
    
     # 타겟 URL을 읽어서 HTML를 받아오고,
     headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
     data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=pnt&date=20200303',headers=headers)
    
     # HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
     # soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
     # 이제 코딩을 통해 필요한 부분을 추출하면 된다.
     soup = BeautifulSoup(data.text, 'html.parser')
    
     #############################
     # (입맛에 맞게 코딩)
     #############################

  • select/select oneの使い方に詳しい
    ラベルのテキストを撮りたいとき→ラベル.text
    ラベルに属性を印刷したい場合→ラベル[属性]
    import requests
     from bs4 import BeautifulSoup
    
     # URL을 읽어서 HTML를 받아오고,
     headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
     data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=pnt&date=20200303',headers=headers)
    
     # HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
     soup = BeautifulSoup(data.text, 'html.parser')
    
     # select를 이용해서, tr들을 불러오기
     movies = soup.select('#old_content > table > tbody > tr')
    
     # movies (tr들) 의 반복문을 돌리기
     for movie in movies:
         # movie 안에 a 가 있으면,
         a_tag = movie.select_one('td.title > div > a')
         if a_tag is not None:
             # a의 text를 찍어본다.
             print (a_tag.text)

  • 美化グループ内のselectで定義された他の方法
    # 선택자를 사용하는 방법 (copy selector)
     soup.select('태그명')
     soup.select('.클래스명')
     soup.select('#아이디명')
    
     soup.select('상위태그명 > 하위태그명 > 하위태그명')
     soup.select('상위태그명.클래스명 > 하위태그명.클래스명')
    
     # 태그와 속성값으로 찾는 방법
     soup.select('태그명[속성="값"]')
    
     # 한 개만 가져오고 싶은 경우
     soup.select_one('위와 동일')

  • クロム開発者ツールの参照方法
    必要な箇所を右クリック→チェック
  • 必要なラベルを右クリック

  • セレクタを
  • Copy→Copyセレクタにコピーできます
  • DB
    1.データベースのインストール確認
    1)DBインストールの検証
    Chromeウィンドウにlocalhost:27017が表示されると、mongody:が実行されていることを示す画面が表示されます.
    2)robo 3 T準備
  • robo 3 Tの役割
    mongody:グラフィックインタフェースは提供されていません(GUI)
    →robo 3 Tの役割:データベース内部の
  • プログラム
  • robo 3 T取付
    robo 3 Tは予めDBボールを設定しておく(任意の名前を入力可能)
  • db、collection、documents(各データを指す)
    最初はSystem、configのみでしたが、データがあると次のように表示されます.
  • 2.データベースの概要
    1)DBの2種類

  • RDBMS(SQL)
    行または列の外観を持つ指定したセルにデータを格納するのと同じです.50万個のデータの場合、真ん中に突然1つの列を追加するのは難しい.しかしながら、データは固定されているため、データの整合性または/分析は非常に容易である可能性がある.
    ex)MS-SQL、My-SQL等

  • No-SQL
    ディック形式でデータを格納するDB.したがって、データごとに同じ値を指定する必要はありません.フリーフォームのデータ・ロードに不利な一貫性が欠けている可能性があります.
    ex) MongoDB
  • pymongo
    1.pymongoでDBを操作する
    1)pymongoライブラリの役割
    」pymongo:mongodbプログラムを操作するためのライブラリ
    2)パッケージのインストール

  • パッケージのインストール
    pymongo

  • pymongoデフォルトコード
    from pymongo import MongoClient
    client = MongoClient('localhost', 27017)
    db = client.dbsparta
    
    # 코딩 시작

  • データベース接続&データ挿入pymongo(insert)
    from pymongo import MongoClient           # pymongo를 임포트 하기(패키지 인스톨 먼저 해야겠죠?)
     client = MongoClient('localhost', 27017)  # mongoDB는 27017 포트로 돌아갑니다.
     db = client.dbsparta                      # 'dbsparta'라는 이름의 db를 만듭니다.
    
     # MongoDB에 insert 하기
    
     # 'users'라는 collection에 {'name':'bobby','age':21}를 넣습니다.
     db.users.insert_one({'name':'bobby','age':21})
     db.users.insert_one({'name':'kay','age':27})
     db.users.insert_one({'name':'john','age':30})

  • すべての結果値pymongo(find)の表示
    from pymongo import MongoClient           # pymongo를 임포트 하기(패키지 인스톨 먼저 해야겠죠?)
     client = MongoClient('localhost', 27017)  # mongoDB는 27017 포트로 돌아갑니다.
     db = client.dbsparta                      # 'dbsparta'라는 이름의 db를 만듭니다.
    
     # MongoDB에서 데이터 모두 보기
     all_users = list(db.users.find({}))
    
     # 참고) MongoDB에서 특정 조건의 데이터 모두 보기
     same_ages = list(db.users.find({'age':21},{'_id':False}))
    
     print(all_users[0])         # 0번째 결과값을 보기
     print(all_users[0]['name']) # 0번째 결과값의 'name'을 보기
    
     for user in all_users:      # 반복문을 돌며 모든 결과값을 보기
         print(user) 

  • 特定の結果値pymongo(find one)の表示
    user = db.users.find_one({'name':'bobby'})
     print(user)

  • pymongo(update one)の変更
    # 생김새
     db.people.update_many(찾을조건,{ '$set': 어떻게바꿀지 })
    
     # 예시 - 오타가 많으니 이 줄을 복사해서 씁시다!
     db.users.update_one({'name':'bobby'},{'$set':{'age':19}})
    
     user = db.users.find_one({'name':'bobby'})
     print(user)

  • pymongo(delete one)の削除
    db.users.delete_one({'name':'bobby'})
    
     user = db.users.find_one({'name':'bobby'})
     print(user)

  • pymongoの使い方:コードの概要
    # 저장 - 예시
     doc = {'name':'bobby','age':21}
     db.users.insert_one(doc)
    
     # 한 개 찾기 - 예시
     user = db.users.find_one({'name':'bobby'})
    
     # 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
     same_ages = list(db.users.find({'age':21},{'_id':False}))
    
     # 바꾸기 - 예시
     db.users.update_one({'name':'bobby'},{'$set':{'age':19}})
    
     # 지우기 - 예시
     db.users.delete_one({'name':'bobby'})
  • 3週目の宿題:ジェニーン音楽のスクロール
    1)問題
    ジェニーミュージックの上位1~50曲をカットしてください
  • 位/曲名/歌手を出せばいいです.

  • 2)私の回答
    import requests
    from bs4 import BeautifulSoup
    
    from pymongo import MongoClient
    client = MongoClient('localhost', 27017)
    db = client.dbsparta
    
    headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
    data = requests.get('https://www.genie.co.kr/chart/top200?ditc=D&ymd=20200403&hh=23&rtm=N&pg=1',headers=headers)
    
    soup = BeautifulSoup(data.text, 'html.parser')
    
    trs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')
    
    for tr in trs:
        rank = tr.select_one('td.number').text[0:2].strip()
        title = tr.select_one('td.info > a.title.ellipsis').text.strip()
        singer = tr.select_one('td.info > a.artist.ellipsis').text
        print(rank, title, singer)