redis mongoデータベースのデータを読み込む-爬虫類シリーズ6を自分に書く

704 ワード

前言
需要:mongodbにredisを格納するデータ構想:redisとpymongoモジュールを利用してmongoのデータを読み出し、lpushでredisに書き込む.
スクリプト#スクリプト#

import pymongo,redis
'''  mongo  '''
def read_data(c_n,d_n):
    client =pymongo.MongoClient('localhost',27017)
    db     =client[d_n]
    collection =db[c_n]
    data = collection.find()
    return data

'''     redis'''
def write_data(val):
    a = redis.Redis()
    a.lpush('myspider3:start_urls',val)

    return 'ok'
if __name__ == '__main__':
    aa =read_data(c_n='url_recheack',d_n='project_shenzhen')
    bb =[i['url'] for i in aa][:50]
    map(write_data,bb)

Redisクラスタを削除して再作成

redis自己起動スクリプトの構成