gevent.の使用monkey.patch_all()コヒーレントプールがブロックされ、タスクにsleep()を追加して完了~
geventの使用についてmonkey.patch_all()コラボレーションプールがブロックされた解決方法:
マルチスレッドを行うとmonkeyはスレッドの継続実行をブロックし、monkeyを必要とする.patch_allは処理を行い、インスタンスにsleep()を追加することで解決できます.ここで時間は非常に小さな数を設定すればいいです.
この問題についてはstackoverflowにアクセスして具体的に見てください.https://stackoverflow.com/questions/9192539/using-gevent-monkey-patching-with-threading-makes-thread-work-serially
import time
...
class Example:
...
time.sleep(0.000001)
マルチスレッドを行うとmonkeyはスレッドの継続実行をブロックし、monkeyを必要とする.patch_allは処理を行い、インスタンスにsleep()を追加することで解決できます.ここで時間は非常に小さな数を設定すればいいです.
import gevent.monkey
gevent.monkey.patch_all()
......
class Example:
......
def run(self): #
# 1. url
self.get_url_list()
# 2. ,
for i in range(5): # 5
self.pool.apply_async(self._execute_request_content_save, callback=self._callback)
while True:
time.sleep(0.0000001)
if self.total_response_num >= self.total_request_num:
self.is_running = False
break
この問題についてはstackoverflowにアクセスして具体的に見てください.https://stackoverflow.com/questions/9192539/using-gevent-monkey-patching-with-threading-makes-thread-work-serially