urllibの勉強

1833 ワード

python-爬虫類

1 urllib紹介
リクエストモジュールがリクエストを送信できるほか、urllibモジュールもリクエストの送信を実現できますが、操作方法は少し異なります.
urllibはpythonでurllibとurllib 2に分けられ、python 3でurllib
python 3のurllibを例に説明します
2 urllibの基本的な方法の紹介
2.1 urllib.urlopoen
着信URLアドレス

import urllib.request
response = urllib.request.urlopen("http://www.baidu.com")
print(resp.read())

2.2 urllib.Request

単純要求

 import urllib.request
 #    
 request = urllib.request.Request("http://www.baidu.com")
 #        
 response = urllib.request.urlopen(request)
 print(resp.read())

を構築する.

headersパラメータ

 import urllib.request
 #  headers
 headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"} 
 #    
 request = urllib.request.Request(url, headers = headers)
 #    
 response = urllib.request.urlopen(request)
 print(resp.read())

に入力

入力dataパラメータ実装送信post要求

 import urllib.request
 import urllib.parse

 headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
 #         
 data = {"email":"[email protected]", "password":"alarmchime"}
 #           bytes  
 data = urllib.parse.urlencode(data).encode('utf-8')
 #     
 request = urllib.request.Request('http://www.renren.com/PLogin.do', data=data, headers=headers)
 #         
 resp = urllib.request.urlopen(request)
 #          
 print(resp.read())

2.3 response.read()
応答を取得するhtml文字列、bytesタイプ

import urllib.request
#    
request = urllib.request.Request("http://www.baidu.com")
#        
response = urllib.request.urlopen(request)
#           bytes  
print(resp.read())
#           str  
print(resp.read().decode())

zsh の起動の遅さに絶望して色々とゴソゴソ

pythonはTCPを使用してファイル転送を実現する(CentOS 6.4,python 2.6テスト合格)