Python実戦(一)——Python編纂ネット爬虫類

実戦コンテンツはloginを必要としない静的ページに対して這い出す.ログイン、ajax非同期ロードの内容をキャプチャしないでください.
一、キャプチャプログラムの主要モジュール構成
1、urlマネージャ:キャプチャ済み、未キャプチャのurl接続を管理し、重複、循環キャプチャを避ける
2、ウェブダウンロードurllib 2:urlウェブデータをダウンロードする
3、Web解析器BeautifulSoup:ダウンロードしたWebページを解析し、主なデータを抽出する
二、考え方をつかむ
1、ルートurlからすべての関連するn個のurlにアクセスし、順番に登る.
2、urlマネージャのストレージ方式:
メモリメモリ:set pythonのset直接重複データを除去する
        db:mysql url iscrawl
キャッシュ:redisが這い出すset
3、Webダウンロード
urllib 2のWebページのダウンロード方法
4、ページ解析器
正則マッチング、html.parser、BeautifalSoupプラグイン、lxml
三、各モジュールコード
1、urlマネージャ

#coding:utf-8

class UrlManager(object):
    #     set ，      url
    def __init__(self):
        self.new_urls=set()
        self.old_urls=set()
    
    #    url
    def add_new_url(self,url):#    url，          
        if url is None:
            return 
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)
    
    #    n url        
    def add_new_urls(self,urls):
        if urls is None or len(urls)==0:
            return
        for url in urls:
            self.add_new_url(url)
            
    def has_new_url(self):
        return len(self.new_urls) !=0  
    
    
    def get_new_url(self):
        new_url=self.new_urls.pop()# set       url
        self.old_urls.add(new_url)
        return new_url

2、Webダウンロード

#coding:utf-8

class HtmlDownloader(object):
    
    def download(self,url):
        if url is None:
            return None
        
        responce=urllib2.urlopen(url)
        
        if responce.getcode!=200:
            return None
        return reponce.read()
    

3、ホームページ解析器

#coding:utf-8


class HtmlParser(object):
    
    #     a   url
    def _get_new_urls(self, page_url, soup):
        new_urls=set()
        #/view/123.htm       url，      
        links=soup.find_all('a',href=re.compile(r"/view/\d+\.htm"))
        for link in links:
            new_url=link['href']
            new_full_url=urlparse.urljoin(page_url,new_url) #      url
            new_urls.add(new_full_url)
        return new_urls
    
    def _get_new_data(self, page_url, soup):
        res_data={}#    
        res_data['url']=page_url
        
        title_node=soup.find('dd',className='class-title').find('h1')
        res_data['title']=title_node.get_text()
        
        summary_node=soup.find('div',className='class-summary')
        res_data['summary']=summary_node.get_text()
        
        return res_data
    
    
    def parse(self,parse_url,html_content):
        if page_url is None or html_content is None:
            return
        
        soup=BeautifulSoup(html_content,'html.parser',from_encoding='utf-8')
        new_urls=self._get_new_urls(page_url,soup)
        new_data=self._get_new_data(page_url,soup)
        return new_urls,new_data

4、解析データ出力器

#coding:utf-8

class HtmlOutPuter(object):
    def __init__(self):
        self.datas=[] #list  ，        
    
    def collect_data(self,data):
        if data is None:
            return
        self.datas.append(data)
    
    def output_html(self):
        fout=open('output.html','w')#дģʽ
        
        fout.write("")
        fout.write("")
        fout.write("")
        
        for data in self.datas:
            fout.write(""%data['url'])
            fout.write(""%data['title'],encode('utf-8'))
            fout.write(""%data['summary'],encode('utf-8'))
        fout.write("
%s
%s
%s
")
        fout.write("")
        fout.write("")
        
        fout.close()

5、main起動

#coding:utf-8

#1   url          /view/bai/   url   
#2       
class SpiderMain(object):
    #     
    def _init_(self):
        self.urls=url_manager.UrlManager()
        self.downloader=html_downloader.HtmlDownloader()
        self.parser=html_parser.HtmlParser()
        self.outputer=html_output.HtmlOutputer()
    
    def crawl(self, root_url):
        pass
#main  
if __name__=='_main_':
    root_url='http://baike.baidu.com/link?url=aj_RuPg5N5xQOJuE6iVlpwpkViTYB-agGx-CdgJPaW9H9fMDDrEajQt9ZDLBX0fRoOoGwrjkVYjm1vpMpMNLFa'
    obj_spider=SpiderMain()
    obj_spider.crawl(root_url) #ctr+1     、