爬虫類-需要:豆弁映画に動的に追加された映画の詳細データを取得する

637 ワード

#   :                    
#   :     ,ajax  ,20 ,      
# 
#        --       --      ?  js  。    ?       
from selenium import webdriver as wd
from time import sleep

bro = wd.PhantomJS(executable_path='./phantomjs-2.1.1-windows/bin/phantomjs')
bro.get('https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action=')
#         
js='window.scrollTo(0,document.body.scrollHeight)'

#           js  
bro.execute_script(js)

sleep(5)
bro.save_screenshot('./5.png')

#           : page_source         
page_text = bro.page_source

#