Python趣味の爬虫類のはよくて珍しい芸の人気がある映画を取ります。

まず目標を見つけます。
目標を見つけたらまずウェブページを分析してください。これは一つのページだけです。ページをめくる必要はありません。

二、F 12ホームページのソースコードを確認する
目標を見つけて、必要なデータをどうやって取得するかを分析します。hrefと映画の名前が見つかりました。

三、コード実現を行い、資源を取得したい。

'''
    
1，   url  
 
2,css       
 
3，        
 
'''
#        
import requests
from bs4 import BeautifulSoup
#requests BeautifulSoup       
import time
#        ，    IP           
import re
class Position():
 
    def __init__(self,position_name,position_require,):#      
        self.position_name=position_name
        self.position_require=position_require
 
    def __str__(self):
        return '%s%s/n'%(self.position_name,self.position_require)#                
 
class Aiqiyi():
    def iqiyi(self,url):
        head= {
            'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.47"
        }  #       
        html = requests.get(url,headers=head)
        #headers=hard              ，        python     ，       
        soup = BeautifulSoup(html.content, 'lxml', from_encoding='utf-8')  # BeautifulSoup    
        soupl = soup.select(".qy-list-wrap")  #     ， css   ，                    （        ， id ，           class）
        results = []  #             
        for e in soupl:
            biao = e.select('.qy-mod-li')  #       
            for h in biao:
                p=Position(h.select_one('.qy-mod-link-wrap').get_text(strip=True),
                       h.select_one('.title-wrap').get_text(strip=True))#     （              ）
                results.append(p)
        return results  #     
 
    def address(self,url):
        #    
        head = {
            'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.47"
        }  #        
        html = requests.get(url, headers=head)
        soup = BeautifulSoup(html.content, 'lxml', from_encoding='utf-8')  # BeautifulSoup    
        alist = soup.find('div', class_='qy-list-wrap').find_all("a")  #   div       a  
        ls=[]
        for i in alist:
            ls.append(i.get('href'))
 
        return ls
 
 
 
if __name__ == '__main__':
    time.sleep(2)
    #  2     
    a=Aiqiyi()
    url = "https://list.iqiyi.com/www/1/-------------11-1-1-iqiyi--.html"
    with open(file='e:/  .txt ', mode='a+') as f:  # e:/  .txt          ，a+        ，         。
         for item in a.iqiyi(url):
             line = f'{item.position_name}\t{item.position_require}
'
             f.write(line)  #     
             print("    ")
    with open(file='e:/  .txt ', mode='a+') as f:  # e:/  .txt          ，a+        ，         。
        for item in a.address(url):
            line=f'https{item}
'
            f.write(line)  #     
            print("    ")

四、現象を見る


ここでPythonの興味爬虫類についての記事を紹介します。Python関連の映画の内容は以前の文章を検索したり、次の関連記事を見たりしてください。これからもよろしくお願いします。