多处理 python 包是否适用于 Google Cloud ml-engine？

我正在尝试使用多处理 python 包（可在此处找到：https ://docs.python.org/3.4/library/multiprocessing.html?highlight=process ）并行化我的预处理功能。

它在我的计算机上运行良好（使用了我的 4 个 CPU），但是当我在 google cloud ml-engine 作业上运行我的代码时，它似乎不起作用。这项工作比顺序等价物花费的时间要多得多，并且 cpu 利用率在某个时候下降到几乎 0%。

这是我的代码尝试：

import multiprocessing as mp

pool = mp.Pool(processes=mp.cpu_count())
params = [ some_params_lists]
pool.starmap(fn_to_run_in_parallel, params)
pool.close()
pool.join()

我也试过使用multiprocessing.Process()没有任何运气。

机器配置：

ScaleTier = 'CUSTOM'

masterTYpe = 'large_model'