1. Crawling
1.スクロール
このスクロールはPythonベース
2. urllib · request
1）理論
2)実験(urllib)
(1) urlopen
戻り値は変数に格納、出力可能
インストール
pip install ullib3
from urllib.request import urlopen
response = urlopen('http://www.naver.com')
print(response.read().decode("utf-8"))
(2) response.status
from urllib.request import urlopen
response = urlopen('http://www.google.co.kr')
print(response.status)
http応答コード説明100プロセスで200成功400クライアントエラー500サーバエラー
(3) urlretrieve
import urllib.request
url = "https://search.pstatic.net/sunny/?src=https%3A%2F%2Fi3.ruliweb.com%2Fimg%2F21%2F12%2F01%2F17d7164b9c05024a1.jpg&type=sc960_832"
savename = "./여자가말대꾸.jpg"
image = urllib.request.urlopen(url).read()
with open(savename, mode="wb") as f:
f.write(image)
print('저장완료')
import urllib.request
url = "https://w.namu.la/s/522e52e11fb15fab84cb581f2222a83c9fa3cb3f01913bf7c7bdad6c24384f55f51d8e4c4ac7ee4665fa42965f58ffe65b008ac9c46779c3e62655d81b740f2bf485ea32ef854b6025a3988aecf93773"
savename = "./여자가말대꾸.jpg"
req = urllib.request.Request(url, headers={'User-Agent': 'Mozilla/5.0'})
image = urllib.request.urlopen(req).read()
with open(savename, mode="wb") as f:
f.write(image)
print('저장완료')3) requests
pip install requests(1) get()
import requests
response = requests.get("https://jsonplaceholder.typicode.com/users/1")(2) post()
import requests
response = requests.post("https://jsonplaceholder.typicode.com/users/1")(3) status_code
チェック
import requests
response = requests.get("https://jsonplaceholder.typicode.com/users/1")
print(response.status_code)Reference
この問題について(1. Crawling), 我々は、より多くの情報をここで見つけました https://velog.io/@spamdong/1.-Crawlingテキストは自由に共有またはコピーできます。ただし、このドキュメントのURLは参考URLとして残しておいてください。
Collection and Share based on the CC Protocol