爬虫類——クッキーアナログ登録
13924 ワード
クッキーはログインが必要なページサイトをキャプチャするのに適しています.
cookieとsessionの仕組み
httpプロトコルは無接続プロトコルで,cookie:クライアントブラウザに保存し,session:Webサーバに保存する.
人人網登録判例
方法1:登録サイトで手掴みCookie
1、まず登録に成功して1回、登録情報を携帯するCookieを取得します.
ログイン成功-個人ホームページ(http://www.renren.com/971989504/profile) - F 12クローズド-個人のホームページを更新します.ホームページのカバンを見つけます.(home)
普通cookieは全部all-->homeデータパックにあります.
2、クッキーを携帯してお願いします.
requestsモジュールは、クライアントとサービスエンドのセッション保持を実現するためにsessionクラスを提供する.
1、实例化sessionオブジェクト
session=requests.session()
2、セッションオブジェクトにgetまたはpost要求を送信させる
res=session.post(url=url、data=data、headers=headers)
res=session.get(url=url、headers=headers)
3.整理整頓
ブラウザの原理:アクセスには登録が必要なページが、以前登録したクッキーを持っています.
プログラム原理:同じく前に登録したクッキーを持ってアクセスします.
1、实例化sessionオブジェクト
2、登録サイト:sessionオブジェクト送信要求、対応サイトに登録し、cookieをsessionオブジェクトに保存する.
3、アクセスページ:sessionオブジェクト要求は登録してこそアクセスできるページで、sessionは自動的に前のこのクッキーを携帯して、要求を行うことができます.
具体的な手順
1、登録時のPOSTの住所を探しています.
ログイン画面でウェブソースを調べ、フォームを調べ、actionの対応する住所を探します. http://www.renren.com/PLogin.do
2、ユーザ名とパスワード情報をPOSTの住所に送信する
* ユーザ名とパスワード情報は辞書で送信されます.
キー:ラベルのnameの値(email、password)
値:本当のユーザ名とパスワード
post_data=''email''','password''''
プログラム
1、まずPOST:ユーザー名とパスワード情報POSTをどこかの住所に入れます.
2、再GET:正常要求はページ情報を取得する
1、キャプチャしたクッキーを辞書2に処理し、requests.get()のパラメータを使う:cookies
cookieとsessionの仕組み
httpプロトコルは無接続プロトコルで,cookie:クライアントブラウザに保存し,session:Webサーバに保存する.
人人網登録判例
方法1:登録サイトで手掴みCookie
1、まず登録に成功して1回、登録情報を携帯するCookieを取得します.
ログイン成功-個人ホームページ(http://www.renren.com/971989504/profile) - F 12クローズド-個人のホームページを更新します.ホームページのカバンを見つけます.(home)
普通cookieは全部all-->homeデータパックにあります.
2、クッキーを携帯してお願いします.
import requests
class RenRenLogin(object):
def __init__(self):
# url
self.url = 'http://www.renren.com/967469305/profile'
# headers cookie cookie
self.headers = {
# cookie,
"Cookie": "xxx",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36",
}
#
def get_html(self):
html = requests.get(url=self.url,headers=self.headers,verify=False).text
print(html)
self.parse_html(html)
#
def parse_html(self,html):
pass
if __name__ == '__main__':
spider = RenRenLogin()
spider.get_html()
方法二:requestsモジュール処理Cookierequestsモジュールは、クライアントとサービスエンドのセッション保持を実現するためにsessionクラスを提供する.
1、实例化sessionオブジェクト
session=requests.session()
2、セッションオブジェクトにgetまたはpost要求を送信させる
res=session.post(url=url、data=data、headers=headers)
res=session.get(url=url、headers=headers)
3.整理整頓
ブラウザの原理:アクセスには登録が必要なページが、以前登録したクッキーを持っています.
プログラム原理:同じく前に登録したクッキーを持ってアクセスします.
1、实例化sessionオブジェクト
2、登録サイト:sessionオブジェクト送信要求、対応サイトに登録し、cookieをsessionオブジェクトに保存する.
3、アクセスページ:sessionオブジェクト要求は登録してこそアクセスできるページで、sessionは自動的に前のこのクッキーを携帯して、要求を行うことができます.
具体的な手順
1、登録時のPOSTの住所を探しています.
ログイン画面でウェブソースを調べ、フォームを調べ、actionの対応する住所を探します. http://www.renren.com/PLogin.do
2、ユーザ名とパスワード情報をPOSTの住所に送信する
* ユーザ名とパスワード情報は辞書で送信されます.
キー:ラベルのnameの値(email、password)
値:本当のユーザ名とパスワード
post_data=''email''','password''''
プログラム
1、まずPOST:ユーザー名とパスワード情報POSTをどこかの住所に入れます.
2、再GET:正常要求はページ情報を取得する
import requests
from lxml import etree
class RenrenSpider(object):
def __init__(self):
self.post_url = 'http://www.renren.com/PLogin.do'
self.get_url = 'http://www.renren.com/967469305/profile'
# email password name
self.form_data = {
'email': '******', #
'password': '*******'} #
self.session = requests.session() # session
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',
'Referer': 'http://www.renren.com/SysHome.do'}
# post get
def get_html(self):
# POST, POST
self.session.post(url=self.post_url, data=self.form_data, headers=self.headers)
# session.get()
html = self.session.get(url=self.get_url, headers=self.headers).text
self.parse_html(html)
def parse_html(self, html):
parse_html = etree.HTML(html)
r_list = parse_html.xpath('//li[@class="school"]/span/text()')
print(r_list)
if __name__ == '__main__':
spider = RenrenSpider()
spider.get_html()
方法31、キャプチャしたクッキーを辞書2に処理し、requests.get()のパラメータを使う:cookies
import requests
from lxml import etree
class RenrenLogin(object):
def __init__(self):
# url
self.url = 'http://www.renren.com/967469305/profile'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'}
# cookie
def get_cookie_dict(self):
cookie_dict = {}
cookies = 'td_cookie=18446744073093166409; anonymid=jzc3yiknvd9kwr; depovince=GW; jebecookies=67976425-f482-44a7-9668-0469a6a14d16|||||; _r01_=1; JSESSIONID=abcp_jUgWA4RdcgwXqtYw; ick_login=f502b729-d6cb-4085-8d74-4308a0a8a17d; _de=4DBCFCC17D9E50C8C92BCDC45CC5C3B7; p=cae86d9f12c5a1ba30901ad3d6ac992f5; first_login_flag=1; ln_uact=13603263409; ln_hurl=http://hdn.xnimg.cn/photos/hdn221/20181101/1550/h_main_qz3H_61ec0009c3901986.jpg; t=6d191b90a0236cea74f99b9d88d3fbd25; societyguester=6d191b90a0236cea74f99b9d88d3fbd25; id=967469305; xnsid=6cbc5509; ver=7.0; loginfrom=null; jebe_key=bd6eb791-92b2-4141-b8ed-53d17551d830%7C2012cb2155debcd0710a4bf5a73220e8%7C1565838783310%7C1%7C1565838784555; jebe_key=bd6eb791-92b2-4141-b8ed-53d17551d830%7C2012cb2155debcd0710a4bf5a73220e8%7C1565838783310%7C1%7C1565838784558; wp_fold=0'
for kv in cookies.split('; '):
# kv: 'td_cookie=184xxx'
key = kv.split('=')[0]
value = kv.split('=')[1]
cookie_dict[key] = value
return cookie_dict
#
def get_html(self):
# cookies
cookies = self.get_cookie_dict()
print(cookies)
html = requests.get(url=self.url, headers=self.headers, cookies=cookies, ).text
self.parse_html(html)
#
def parse_html(self, html):
parse_html = etree.HTML(html)
r_list = parse_html.xpath('//*[@id="operate_area"]/div[1]/ul/li[1]/span/text()')
print(r_list)
if __name__ == '__main__':
spider = RenrenLogin()
spider.get_html()