python爬虫学-scrapy爬虫チェーンハウスソース情報と格納

チェーン賃貸住宅ページの最初のページの住宅源情報を取得し、タイトル、価格、URLを含む.
items.py

import scrapy


class ScrapytestItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    price = scrapy.Field()
    url = scrapy.Field()

pipelines.py

import json

class ScrapytestPipeline(object):
    #    
    def open_spider(self,spider):
        self.file = open('58_chuzu.txt','w',encoding='utf-8')
        print('      ')
    
    #    
    def process_item(self, item, spider):
        line = '{}
'.format(json.dumps(dict(item),ensure_ascii=False))
        self.file.write(line)
        return item
    
    #    
    def close_spider(self,spider):
        self.file.close()
        print('      ')

spider

import scrapy
from ..items import ScrapytestItem


class SpiderCity58Spider(scrapy.Spider):
    name = 'spider_city_58'#         
    allowed_domains = ['lianjia.com']
    start_urls = ['https://bj.lianjia.com/zufang/']

    def parse(self, response):
        info_list = response.xpath('//*[@id="content"]/div[1]/div[1]/div')
        for i in info_list:
            item = ScrapytestItem()
            item['title'] = i.xpath('normalize-space(./div/p[1]/a/text())').extract()
            item['price'] = i.xpath('./div/span/em/text()').extract()
            url = i.xpath('./div/p[1]/a/@href').extract_first()
            item['url'] = response.urljoin(url)
            yield item

作成中に発生したいくつかの問題:
もともと58を登るつもりだったが、58の反登り戦略はまだ解読できないので、チェーン家に変えた.
チェーン家のURLは相対アドレスなのでurljoinを使ってつなぎ合わせ、絶対アドレスに補充します.
先頭のスペースをnormalize-spaceで消去