jupyter notebook-Python多处理进程在没有完成的情况下100%归零
发布时间:2022-04-07 12:55:13 410
相关标签: # node.js
我正在运行Jupiter notebook来处理阵列列表上的一些巨大负载,如下所示:
import multiprocessing as mp
print("Number of processors: ", mp.cpu_count())
pool = mp.Pool(mp.cpu_count())
try:
a_results = pool.map_async(process_each_area, [area for area in areas]).get()
except:
print(e)
finally:
pool.close()
每个处理区域创建一个结果文件,我希望在所有处理完成后看到。
提交时,所有96个cpu内核都很忙,我看到96个新内核如下:
$ ps -ef|grep ipykernel | wc -l 96
但经过一段时间(80-90分钟),所有cpu的使用率都回到零,而进程仍处于活动状态且未完成。我明白了,而格雷普就在上面。此外,不会创建所有区域的结果。
我的问题是:为什么这个过程会闲置,但过了一段时间就不能完成了?如何调试它们?python中有threaddump吗?
特别声明:以上内容(图片及文字)均为互联网收集或者用户上传发布,本站仅提供信息存储服务!如有侵权或有涉及法律问题请联系我们。
举报