python簡易爬虫類製作

コンパイル環境:pycharm 4.5.3
pythonバージョン:3.5.1
まずpycharmライブラリからBeautifulSoup 4,lxml,requests,timeプラグインをダウンロードしてインストールします
KnewOneを例に挙げると、

from bs4 import BeautifulSoup
import requests
import time

url='https://knewone.com/things'  
web_data=requests.get(url)  #  requests    
soup=BeautifulSoup(web_data.text,'lxml') #    
titles=soup.select(' section.content > h4 > a ') #      
imgs=soup.select('a.cover-inner > img')
for title,img in zip(titles,imgs):    #             ，          
    data={
        'title':title.get_text(),
        'img':img.get('src'),
    }
    print(data)

 
  
  ，  KnewOne “  ”           ，  ，            ？
  
 
  
def get_info(url,data=None):
    web_data=requests.get(url)
    soup=BeautifulSoup(web_data.text,'lxml')
    titles=soup.select(' section.content > h4 > a ')
    imgs=soup.select('a.cover-inner > img')

    if(data==None):
        for title,img in zip(titles,imgs):
            data={
                'title':title.get_text(),
                'img':img.get('src'),
            }
            print(data)

def get_mor_pages(start,end):
    for one in range(start,end):
        get_info(url+str(one))