python爬虫技術概要

3129 ワード

最近pythonで爬虫類を作って研究して、とても良い感じで、次はみんなと分かち合います
依然として伯楽オンラインサイトをキャプチャの例として、最新の文章コラムから彼らの文章をキャプチャし、サイトのページを取得してより多くのコンテンツをダウンロードしてパッケージ化することができます.
コードは次のとおりです.
import urllib2,urllib
import threading
from bs4 import BeautifulSoup
import re
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

num=1
class Get(threading.Thread):
    def __init__(self,lock,link,list):
        threading.Thread.__init__(self)
        self.lock=lock
        self.link=link
        self.list=list
    def filter_tags(self,htmlstr):
        re_cdata=re.compile('//<!\[CDATA\[[^>]*//\]\]>',re.I) 
        re_script=re.compile('<\s*script[^>]*>[^<]*<\s*/\s*script\s*>',re.I)
        re_style=re.compile('<\s*style[^>]*>[^<]*<\s*/\s*style\s*>',re.I)
        re_p=re.compile('<P\s*?/?>')
        re_h=re.compile('</?\w+[^>]*>')
        re_comment=re.compile('<!--[^>]*-->')
        s=re_cdata.sub('',htmlstr)
        s=re_script.sub('',s)
        s=re_style.sub('',s)
        s=re_p.sub('\r
',s) s=re_h.sub('',s) s=re_comment.sub('',s) blank_line=re.compile('
+') s=blank_line.sub('
',s) return s def run(self): self.lock.acquire() content=urllib2.urlopen(self.link).read() g=self.filter_tags(content) title=r'<h1>(.+)</h1>' result=re.findall(title,content) print "%s
" %",".join(result) cn=r'<div class="entry">(.*)<!-- END .entry -->' tem=re.findall(cn,content,re.S) f=open('/home/tron/Python/code/'+'News'+'.txt','a+') for j,cc in zip(result,tem): f.write(j.encode("utf-8")+"
"+self.filter_tags(cc)+"") f.close() if self.list<1: global num num+=1 if num<4: main("http://blog.jobbole.com/all-posts/page/"+str(num)+"/") else: print "No More" return self.lock.release() def main(info): spuare=r'<div class="grid-8" id="archive">(.*)<!-- END .grid-8 -->' #info="http://blog.jobbole.com/all-posts/" content=urllib2.urlopen(info).read() div=re.search(spuare,content,re.S) link=r'http://blog.jobbole.com/\d{5}/' result=re.findall(link,div.group()) result=set(result) list=len(result) lock=threading.Lock() for i in result: list-=1 Get(lock,i,list).start() if __name__=="__main__": main("http://blog.jobbole.com/all-posts/page/1/")

私も同じようにマルチスレッドを使って、Webコンテンツを比較的効率的に取得しました.filter_tags()関数は、

などのラベルをWebページに表示するために使用されます.そうしないと、パッケージ化されてダウンロードされた後、読書に適応しません.
私はこのコードで最初の3ページの内容を取得し、発表された文章の情報だけを取得して右側の人気文章の情報を遮断しました.コードには冗長性があります.