pythonコードセグメント:Webページの画像アドレスを取得する

3402 ワード

import requests
import re
import pymysql

#      
db = pymysql.connect(host='127.0.0.1',port=3306,db='db',user='root',passwd='root',charset='utf8')
cursor = db.cursor()
# cursor.execute('select * from table1')
# print(cursor.fetchall())

'''
get images
'''
def getImagesList(page=1):
    html = requests.get("http://www.abc.com/photo/list/?page={}".format(page)).text

    #      
    reg = r'data-original="(.*?).*?alt=(.*?)"'
    #        S     
    reg = re.compile(reg, re.S)
    imagesList = re.findall(reg,html)
    for i in imagesList:
        # print(i)
        image_url = i[0]
        image_title=i[1]
        cursor.execute("insert tablea(`name`,`url` values('{}','{}')".format(image_title,image_url))
        print('saving')
        db.commit()

for i in range(1,101):
    getImagesList(i)