Pythonはある短いビデオを撮ります。
一、目標をつかむ
ターゲットURL:動画リスト
二、工具使用
開発環境:win 10、python 3.7
開発ツール:pycharm、Chrome
ツールバッグ:requests、xpath、base 64
三、重点学習内容
爬虫採集データの解析過程
jsコードデバッグテクニック
js逆解析コード
Pythonコードの変換
四、プロジェクトの構想解析
サイトのトップページに入ります。
あなたの興味のある分類を選んでください。
トップページのアドレスから詳細ページに入るハイパーリンクのジャンプ先を取得します。
暗号化に対応するビデオ再生アドレスデータが見つかりました。
このデータは静的なページデータで、jsコードで復号されます。
対応する解析コードが見つかりました。
まず動画の再生先を探します。
解析ビデオアドレスの暗号化されたjsファイルを見つけました。
再生をクリックするとファイルがトリガーされます。
これは大体base 64暗号化されたデータだと分かります。
対応するjsファイルでキーワードを検索します。
jsの暗号化方式が見つかりました。
js関数のいくつかの関数の使い方
jsコードをPythonコードに変換します。
五、簡易ソースシェア
ターゲットURL:動画リスト
二、工具使用
開発環境:win 10、python 3.7
開発ツール:pycharm、Chrome
ツールバッグ:requests、xpath、base 64
三、重点学習内容
爬虫採集データの解析過程
jsコードデバッグテクニック
js逆解析コード
Pythonコードの変換
四、プロジェクトの構想解析
サイトのトップページに入ります。
あなたの興味のある分類を選んでください。
トップページのアドレスから詳細ページに入るハイパーリンクのジャンプ先を取得します。
暗号化に対応するビデオ再生アドレスデータが見つかりました。
このデータは静的なページデータで、jsコードで復号されます。
対応する解析コードが見つかりました。
まず動画の再生先を探します。
解析ビデオアドレスの暗号化されたjsファイルを見つけました。
再生をクリックするとファイルがトリガーされます。
これは大体base 64暗号化されたデータだと分かります。
対応するjsファイルでキーワードを検索します。
jsの暗号化方式が見つかりました。
js関数のいくつかの関数の使い方
# eplace()
# parseInt
# base64.atob base64
# substring start
jsコードをPythonコードに変換します。
import base64
def decode(data):
def getHex(a):
return {
'str': a[4:],
'hex': ''.join(list(a[:4])[::-1]),
}
def getDec(a):
b = str(int(a, 16))
return {
'pre': list(b[:2]),
'tail': list(b[2:]),
}
def substr(a, b):
c = a[0: int(b[0])]
d = a[int(b[0]): int(b[0]) + int(b[1])]
return c + a[int(b[0]):].replace(d, "")
def getPos(a, b):
b[0] = len(a) - int(b[0]) - int(b[1])
return b
b = getHex(data)
c = getDec(b['hex'])
d = substr(b['str'], c['pre'])
return base64.b64decode(substr(d, getPos(d, c['tail'])))
print(decode("e121Ly9tBrI84RdnZpZGVvMTAubWVpdHVkYXRhLmNvbS82MGJjZDcwNTE3NGZieXBueG5udnRwMTA5N19IMjY0XzFfNWY3YThmM2U0MTEwNy5tc2JVjAu3EDQ="))
最後のビデオの再生アドレスを取得しました。五、簡易ソースシェア
import requests
from lxml import etree
import base64
def decode_mp4(data):
def getHex(a):
return {
'str': a[4:],
'hex': ''.join(list(a[:4])[::-1]),
}
def getDec(a):
b = str(int(a, 16))
return {
'pre': list(b[:2]),
'tail': list(b[2:]),
}
def substr(a, b):
c = a[0: int(b[0])]
d = a[int(b[0]): int(b[0]) + int(b[1])]
return c + a[int(b[0]):].replace(d, "")
def getPos(a, b):
b[0] = len(a) - int(b[0]) - int(b[1])
return b
b = getHex(data)
c = getDec(b['hex'])
d = substr(b['str'], c['pre'])
return base64.b64decode(substr(d, getPos(d, c['tail'])))
#
def main():
url = 'https://www.meipai.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
}
response = requests.get(url=url, headers=headers)
html_data = etree.HTML(response.text)
href_list = html_data.xpath('//div/a/@href')
# print(href_list)
for href in href_list:
res = requests.get('https://www.meipai.com' + href, headers=headers)
html = etree.HTML(res.text)
name = html.xpath('//div[@id="detailVideo"]/img/@alt')[0]
mp4_data = html.xpath('//div[@id="detailVideo"]/@data-video')[0]
# print(name, mp4_data)
mp4_url = decode_mp4(mp4_data).decode('utf-8')
print(mp4_url)
result = requests.get("http:" + mp4_url)
with open(name + ".mp4", 'wb') as f:
f.write(result.content)
f.close()
if __name__ == '__main__':
main()
ここでPythoonについて、ある動画を撮影した文章を紹介します。これに関連して、Pythonさんが動画の内容を紹介します。以前の文章を検索したり、次の関連記事を見たりしてください。これからもよろしくお願いします。