第六課Python新浪ニュース爬虫類最終整理まとめ

コード整理パッケージは図のように:
6いいえ6?
Pythonはシンプルで強力!
これで、教程は円満に终わって、また何か分からないあるいは疑问の问题があって、みんなが私のQQをプラスすることを歓迎します
ついでにフルコードを送って、文字数を集めて、はは~(実はGithubの内容をダウンロードして、ついでに心を込めて何かをあげることをお勧めします)

#        
#  ：DYBOY
#  ：2017-09-06

import requests
import json
import re

from bs4 import BeautifulSoup
from datetime import datetime
#        

#      
def getCommentCounts(newsurl):
    newsid = re.search('doc-i(.*).shtml',newsurl).group(1)
    commentURL='http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=gn&newsid=comos-{}&group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20'
    comments = requests.get(commentURL.format(newsid))
    com_num = json.loads(comments.text.strip('var data='))['result']['count']['total']
    return com_num

#       
def getNewsDetail(newsurl):
    result = {}
    res = requests.get(newsurl)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text,'html.parser')
    result['title'] = soup.select('#artibodyTitle')[0].text
    result['time'] = datetime.strptime(soup.select('.time-source')[0].contents[0].strip(),'%Y %m %d %H:%M')
    result['source'] = soup.select('.time-source span a')[0].text
    result['article'] = ' '.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])
    result['editor'] = soup.select('.article-editor')[0].text.lstrip('    ：')
    result['com_num'] = getCommentCounts(newsurl)
    return result

#      
def getNewsList(sortURL):
    res = requests.get(sortURL)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text,'html.parser')
    for news in soup.select('.news-item'):
        if( len(news.select('h2')) >0 ):
            h2 = news.select('h2')[0].text
            time = news.select('.time')[0].text
            newsurl = news.select('a')[0]['href']
            wenzhang = getNewsDetail(newsurl)
            print(time,h2,newsurl,wenzhang)

#MAIN-    
getNewsList('http://news.sina.com.cn/china/')

チュートリアルはここで終わりますが、何か分からないことがあったら連絡してください.同時に、大きな収穫があることを望んでいます.
皆さんの学業が成功することを祈って、何事も順調です!
注:本文はオリジナルの文章に属して、転載して本文の住所を明記してください!
作者QQ:1099718640
CSDNブログホームページ:http://blog.csdn.net/dyboy2017
Githubオープンソースプロジェクト:https://github.com/dyboy2017/spider