scrapy excel生成ツール(python 3)
9023 ワード
scrapy excel生成ツール(python 3)
背景:自分で書いた簡単な爬虫類、データはExcelに保存
バージョン:python 3
IDE:pycharm
環境:windows 10
項目:scrapy爬虫類
注意:使用する場合は、ご自分で修正してください.ありがとうございます.
posted @
2019-01-15 22:25わざとニャンコを飼って順児に読んでもらう(
...)コメント(
...)コレクションの編集
背景:自分で書いた簡単な爬虫類、データはExcelに保存
バージョン:python 3
IDE:pycharm
環境:windows 10
項目:scrapy爬虫類
注意:使用する場合は、ご自分で修正してください.ありがとうございます.
# -*- coding: utf-8 -*-
import xlwt
import xlrd
class ExcelPrintPipeline(object):
def __init__(self):
self.f = xlwt.Workbook() #
self.sheet1 = self.f.add_sheet(u' ', cell_overwrite_ok=True)
self.rowsTitle = [u' ', u' ', u' ', u' ', u' ', u' ', u' ', u' ', u' ', u' ', u' ', u' '] #
for i in range(0, len(self.rowsTitle)):
#
self.sheet1.write(0, i, self.rowsTitle[i], self.set_style('Times new Roman', 220, True))
# Excel
self.f.save('C:/torrent_movie.xls')
def open_spider(self, spider):
print(" xlsx ")
def process_item(self, item, spider):
data = xlrd.open_workbook('C:/torrent_movie.xls') # Excel
table = data.sheets()[0] # table, table, 0
rowCount = table.nrows # ,
data = []
#
# data.append(rowCount + m) #
data.append(item['torrent_title'])
data.append(item["torrent_name"])
data.append(item["torrent_director"])
data.append(item["torrent_actor"])
data.append(item['torrent_language'])
data.append(item["torrent_type"])
data.append(item["torrent_region"])
data.append(item["torrent_update_time"])
data.append(item['torrent_status'])
data.append(item["torrent_show_time"])
data.append(item["torrent_introduction"])
data.append(item["torrent_url"])
for i in range(len(data)):
self.sheet1.write(rowCount, i, data[i]) # execl
self.f.save('C:/torrent_movie.xls')
return item
def close_spider(self, spider):
self.f.save('C:/torrent_movie.xls')
print(" xlsx ")
#
def set_style(self,name, height, bold=False):
style = xlwt.XFStyle() #
font = xlwt.Font() #
font.name = name
font.bold = bold
font.colour_index = 2
font.height = height
style.font = font
return style
posted @
2019-01-15 22:25わざとニャンコを飼って順児に読んでもらう(
...)コメント(
...)コレクションの編集