pythonコードセグメント:Webページの画像アドレスを取得する
3402 ワード
import requests
import re
import pymysql
#
db = pymysql.connect(host='127.0.0.1',port=3306,db='db',user='root',passwd='root',charset='utf8')
cursor = db.cursor()
# cursor.execute('select * from table1')
# print(cursor.fetchall())
'''
get images
'''
def getImagesList(page=1):
html = requests.get("http://www.abc.com/photo/list/?page={}".format(page)).text
#
reg = r'data-original="(.*?).*?alt=(.*?)"'
# S
reg = re.compile(reg, re.S)
imagesList = re.findall(reg,html)
for i in imagesList:
# print(i)
image_url = i[0]
image_title=i[1]
cursor.execute("insert tablea(`name`,`url` values('{}','{}')".format(image_title,image_url))
print('saving')
db.commit()
for i in range(1,101):
getImagesList(i)