モジュールの再読み込み方法


importlibモジュールの役割
モジュールは、個々のpyファイルパッケージで、複数のモジュール(pyファイル)が含まれています。
動的にモジュールを導入して、このようにしてそんなに多くのimportコードを書く必要はなくて、典型的な例:自動同期サービス、すべてのウェブサイトはすべてpyファイルがあります。メインプロセスで同期タスクを受信し、名前によって対応するpyファイルを動的に導入することで、そんなに多くのimportコードを書かなくてもいいです。javaの工場方法に似ています。
しかし、importlibはオンラインでpyのソースコードを修正できません。再起動しない場合、修正が有効になります。この場合は、reload()が使えます。
reload方法
二つのモジュールの相互導入の問題を防ぐために、Pythonはすべてのモジュールを一度だけ導入します。モジュールを再導入する必要があるなら、Python 2.7は直接reload()を使ってもいいです。Python 3は次のような方法があります。
方法1:基本方法from imp import reload reload(module)
方法2:ロードによって、このようにimport imp.reloadができます。
方法3:imp.pyを見てください。見つけられましたので、このようにimport importlib.reloadもできます。
方法4:天理によってはもちろん、このようにfrom importlib import reload reload(module)もできます。
マルチプロセスのプログラムでは、一つのプロセスのreloadは他のプロセスに影響を与えません。
例:

#           
def begin():
  """       """
  plist = []
  for i in xrange(Num_process):
    p = Process(target=pre_run)
    p.start()
    plist.append(p)
  #      redis  ,    ,   reload  
  p = Process(target=reload_spider)
  p.start()
  plist.append(p)
  for p in plist:
    p.join()

#   redis,  reload  
def reload_spider():
  """       ,  reload """
  rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
  while True:
    try:
      key = 'reload-spider'
      value = rconn.get(key)
      print value
      if value == '1':
        crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
        reload(crawler_module)
        crawlerClass = getattr(crawler_module, 'temp'.upper())
        print 'reload_spider   class: %s' % (crawlerClass.name)
      # rconn.delete(key)
    except Exception, e:
      pass
    time.sleep(3)
別のプロセスはpyファイルの中の変数を印刷します。

crawler = get_crawler_from_factory(mq_service, message)
  print crawler.name
その結果、一つのプロセスでreloadが行われ、他のプロセスで変数が変更されないことが分かりました。同じプロセスでは…
同じプロセスでは、マルチスレッド、いずれかのスレッドがreload操作を行い、他のスレッドは影響を受けます。

def pre_run():
  t = threading.Thread(target=reload_spider, name='LoopThread')
  t.start()
  # t.join()
 
  """               """
  pool = ThreadPool(Num_Thread)
  #    mq  
  mq_service = RabbitMqService()
 
  def callback(ch, method, properties, body):
    #     
    mq_service.input_channel.basic_ack(delivery_tag=method.delivery_tag)
    #          
    current_process_name = multiprocessing.current_process().name
    logger.debug('      :%s - pid: %s' % (current_process_name, os.getpid()))
    logger.debug('   %s,    : %s' % (current_process_name, body))
    #       ,       
    pool.apply_async(run, (properties, body, mq_service))
  #         
  mq_service.receive(callback)
reload_spiderでredi中のメッセージを傍受し、reloadマークがあれば、reload操作を行います。

def reload_spider():
  """       ,  reload """
  rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
  while True:
    try:
      key = 'reload-spider'
      value = rconn.get(key)
      print value
      if value == '1':
        crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
        reload(crawler_module)
        crawlerClass = getattr(crawler_module, 'temp'.upper())
        print 'reload_spider   class: %s' % (crawlerClass.name)
      # rconn.delete(key)
    except Exception, e:
      pass
    time.sleep(3)
テストした結果、他のスレッドに導入された変数も変更されました。
もちろん、メッセージ傍受はmqまたはredisを使用してキューをブロックすることが望ましい。
以上のPythonモジュールの実装方法は、小编が皆さんに提供している内容の全てです。参考にしていただければと思います。どうぞよろしくお愿いします。