[Python]ネットワークデータ収集概要（3）—ウェブフォーム、登録ウィンドウを介して収集する

Python Requestsライブラリ提出フォーム

ファイルと画像を提出する

登録とCookie Session Http基本認証を処理します。

Cookie

Session

HTTP基本アクセス認証

Python Requestsライブラリ提出フォーム

params = {"firstname": "Liu", "lastname": "Vi"}
r = requests.post("http://pythonscraping.com/files/processing.php", data=params)
print(r.text)

フィールドname、valueまたは提出経路が分からない場合は、ウェブソースを調べたり、コンソールでNetworkを調べたりすることができます。
ファイルと画像を提出する

files = {'uploadFile': open("1.jpg", 'rb')}
r = requests.post("http://pythonscraping.com/files/processing2.php", files= files)
print(r.text)

登録とCookie、Session、Http基本認証を処理します。
Cookie

params = {"username": "vi", "password": "password"}
    r = requests.post("http://pythonscraping.com/pages/cookies/welcome.php", data= params)
    print("Cookie is set to: ")
    print(r.cookies.get_dict())
    print("--------------------")
    print("Going to profile page...")
    r = requests.get("http://pythonscraping.com/pages/cookies/profile.php", cookies= r.cookies)
    print(r.text)

セッション

session = requests.Session()
params = {'username': 'vi', 'password': 'password'}
s = session.post("http://pythonscraping.com/pages/cookies/welcome.php", data= params)
print("Cookie is set to: ")
print(s.cookies.get_dict())
print("-------------------")
print("Going to profile page...")
s = session.get("http://pythonscraping.com/pages/cookies/profile.php")
print(s.text)
print(session.headers)
print('---------------')
print(session.cookies)

HTTP基本アクセス認証

auth = HTTPBasicAuth('vi', 'password')
r = requests.post(url= "http://pythonscraping.com/pages/auth/login.php", auth= auth)
print(r.text)

参考書：「Pythonネットワークデータ収集」