モジュールの再読み込み方法
importlibモジュールの役割
モジュールは、個々のpyファイルパッケージで、複数のモジュール(pyファイル)が含まれています。
動的にモジュールを導入して、このようにしてそんなに多くのimportコードを書く必要はなくて、典型的な例:自動同期サービス、すべてのウェブサイトはすべてpyファイルがあります。メインプロセスで同期タスクを受信し、名前によって対応するpyファイルを動的に導入することで、そんなに多くのimportコードを書かなくてもいいです。javaの工場方法に似ています。
しかし、importlibはオンラインでpyのソースコードを修正できません。再起動しない場合、修正が有効になります。この場合は、reload()が使えます。
reload方法
二つのモジュールの相互導入の問題を防ぐために、Pythonはすべてのモジュールを一度だけ導入します。モジュールを再導入する必要があるなら、Python 2.7は直接reload()を使ってもいいです。Python 3は次のような方法があります。
方法1:基本方法from imp import reload reload(module)
方法2:ロードによって、このようにimport imp.reloadができます。
方法3:imp.pyを見てください。見つけられましたので、このようにimport importlib.reloadもできます。
方法4:天理によってはもちろん、このようにfrom importlib import reload reload(module)もできます。
マルチプロセスのプログラムでは、一つのプロセスのreloadは他のプロセスに影響を与えません。
例:
同じプロセスでは、マルチスレッド、いずれかのスレッドがreload操作を行い、他のスレッドは影響を受けます。
もちろん、メッセージ傍受はmqまたはredisを使用してキューをブロックすることが望ましい。
以上のPythonモジュールの実装方法は、小编が皆さんに提供している内容の全てです。参考にしていただければと思います。どうぞよろしくお愿いします。
モジュールは、個々のpyファイルパッケージで、複数のモジュール(pyファイル)が含まれています。
動的にモジュールを導入して、このようにしてそんなに多くのimportコードを書く必要はなくて、典型的な例:自動同期サービス、すべてのウェブサイトはすべてpyファイルがあります。メインプロセスで同期タスクを受信し、名前によって対応するpyファイルを動的に導入することで、そんなに多くのimportコードを書かなくてもいいです。javaの工場方法に似ています。
しかし、importlibはオンラインでpyのソースコードを修正できません。再起動しない場合、修正が有効になります。この場合は、reload()が使えます。
reload方法
二つのモジュールの相互導入の問題を防ぐために、Pythonはすべてのモジュールを一度だけ導入します。モジュールを再導入する必要があるなら、Python 2.7は直接reload()を使ってもいいです。Python 3は次のような方法があります。
方法1:基本方法from imp import reload reload(module)
方法2:ロードによって、このようにimport imp.reloadができます。
方法3:imp.pyを見てください。見つけられましたので、このようにimport importlib.reloadもできます。
方法4:天理によってはもちろん、このようにfrom importlib import reload reload(module)もできます。
マルチプロセスのプログラムでは、一つのプロセスのreloadは他のプロセスに影響を与えません。
例:
#
def begin():
""" """
plist = []
for i in xrange(Num_process):
p = Process(target=pre_run)
p.start()
plist.append(p)
# redis , , reload
p = Process(target=reload_spider)
p.start()
plist.append(p)
for p in plist:
p.join()
# redis, reload
def reload_spider():
""" , reload """
rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
while True:
try:
key = 'reload-spider'
value = rconn.get(key)
print value
if value == '1':
crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
reload(crawler_module)
crawlerClass = getattr(crawler_module, 'temp'.upper())
print 'reload_spider class: %s' % (crawlerClass.name)
# rconn.delete(key)
except Exception, e:
pass
time.sleep(3)
別のプロセスはpyファイルの中の変数を印刷します。
crawler = get_crawler_from_factory(mq_service, message)
print crawler.name
その結果、一つのプロセスでreloadが行われ、他のプロセスで変数が変更されないことが分かりました。同じプロセスでは…同じプロセスでは、マルチスレッド、いずれかのスレッドがreload操作を行い、他のスレッドは影響を受けます。
def pre_run():
t = threading.Thread(target=reload_spider, name='LoopThread')
t.start()
# t.join()
""" """
pool = ThreadPool(Num_Thread)
# mq
mq_service = RabbitMqService()
def callback(ch, method, properties, body):
#
mq_service.input_channel.basic_ack(delivery_tag=method.delivery_tag)
#
current_process_name = multiprocessing.current_process().name
logger.debug(' :%s - pid: %s' % (current_process_name, os.getpid()))
logger.debug(' %s, : %s' % (current_process_name, body))
# ,
pool.apply_async(run, (properties, body, mq_service))
#
mq_service.receive(callback)
reload_spiderでredi中のメッセージを傍受し、reloadマークがあれば、reload操作を行います。
def reload_spider():
""" , reload """
rconn = redis.Redis(host=settings.REDIS_HOST, port=settings.REDIS_PORT, db=settings.REDIS_DB, password=settings.REDIS_PW)
while True:
try:
key = 'reload-spider'
value = rconn.get(key)
print value
if value == '1':
crawler_module = importlib.import_module('crawlers.%s' % 'temp'.lower())
reload(crawler_module)
crawlerClass = getattr(crawler_module, 'temp'.upper())
print 'reload_spider class: %s' % (crawlerClass.name)
# rconn.delete(key)
except Exception, e:
pass
time.sleep(3)
テストした結果、他のスレッドに導入された変数も変更されました。もちろん、メッセージ傍受はmqまたはredisを使用してキューをブロックすることが望ましい。
以上のPythonモジュールの実装方法は、小编が皆さんに提供している内容の全てです。参考にしていただければと思います。どうぞよろしくお愿いします。