python multiprocessing の使い方（続） Pool編

pythonでmultiprocessingの使い方を調査しています。
先ほど投稿した記事の調査の続き。別プロセスで動かしたい関数をProcess で一つ一つ起動するのでなく、まとめて実行してくれる関数Pool を利用します。

• 並列処理で使用するコアの数（上限数）を指定できる。
• 指定した処理を別コアで動かしてくれる。感じ。
• 並列処理をしたい関数が同じで引数が違うだけの時、Pool　を使って簡単に書ける。

を確認しました。

テストコード

• CPUの数は cpu_count() で取得できる
• Pool(num_cpu) で Pool のインスタンスを作り、`map(method, iterable_arg)

from multiprocessing import Pool, cpu_count
from time import sleep
from os import getpid, getppid
from numpy import exp, log

def f(args):
    print("[{}---{}] args {}".format(getpid(), getppid(), args))
    if isinstance(args, dict):
        y = args["x"]
    elif isinstance(args, int):
        y = args
    retValue =0.0
    try:
        sleep(1)
        for i in range(1000000):
            retValue = retValue/float(i+1) + log(exp(y * y + 1) - 0.1)
        print("here=", 100/0.0)
    except Exception as e:
        print("[{}---{}]  {}".format(getpid(), getppid(), e))
        raise e
    finally:
        print('[{}---{}] return: {}'.format(getpid(), getppid(), retValue))
        return(retValue)

if __name__ == "__main__":
    print("main pid={} cpu_count={}".format(getpid(), cpu_count()))
    p = Pool(6) # プロセス数を指定する
    try:
        result = p.map(f, [{"x":1}, 2, 3, 4, 5, 6, 7, 8, 9, 10, -1, -2, -3, -4, -5, -6, -7, -8, -9, -10])  # リストで引数を指定する
        print(result)
    except Exception as e:
        print("main", e)

実行結果

ちゃんとＣＰＵを分けて使ってくれています。８コアのＰＣですが、Pool(10) としてもエラーは出ません。8個すべてを使って全力で処理してくれているようです。

他に気が付いたこと。基礎知識が無いので実験的に学んでいます。汗;

• プロセスＩＤは再利用されている。（ので、関数の実行のunique な識別には利用できませんね。）
• 発生したException は親プロセスではキャッチされない。（そりゃそうか）
• mapで実行させる関数の引数は、型が違ってもＯＫ。map はIterable なもので、実行させる関数できちんと処理をしていれば。

またCPU数については、ドキュメントには
multiprocessing.cpu_count() については、APIの説明で

This number is not equivalent to the number of CPUs the current process can use. The number of usable CPUs can be obtained with len(os.sched_getaffinity(0))

と書かれていましたが、私が実行したときは、os.sched_getaffinity(0)はいつも {0, 1, 2, 3, 4, 5, 6, 7} でした。CPUの割り当て方とか何か実装方法があるのかな。

参考にさせていただいた情報

• 実は記事の一番最初にPool の使い方を紹介されている。https://docs.python.org/3/library/multiprocessing.html

• 実際に使うときの不都合等についての情報も。https://qiita.com/yukitaka13-1110/items/2580b4fc6c8a30d34661

• 並列処理 https://qiita.com/studio_haneya/items/1cf192a0185e12c7559b

• こちらではmultiprocessing.py のソースコードを読まれていました。https://qiita.com/bananaumai/items/48ee1b4b069a5c17bc6f

来週、何とかなるといいな。
(2020/04/18)

追記(2020/04/18 17:40)
- よく読むと、Pool を使うときはwith Pool(processes=4) as pool: としたほうが良いみたい。with を抜けるときにPool のprocessが close されるみたい。