返回

jupyter notebook-Python多处理进程在没有完成的情况下100%归零

发布时间:2022-04-07 12:55:13 410
# node.js

我正在运行Jupiter notebook来处理阵列列表上的一些巨大负载,如下所示:

import multiprocessing as mp
print("Number of processors: ", mp.cpu_count())

pool = mp.Pool(mp.cpu_count())
try:
    a_results = pool.map_async(process_each_area, [area for area in areas]).get()
except:
    print(e)
finally:
    pool.close()

每个处理区域创建一个结果文件,我希望在所有处理完成后看到。

提交时,所有96个cpu内核都很忙,我看到96个新内核如下:

$ ps -ef|grep ipykernel | wc -l 96

但经过一段时间(80-90分钟),所有cpu的使用率都回到零,而进程仍处于活动状态且未完成。我明白了,而格雷普就在上面。此外,不会创建所有区域的结果。

我的问题是:为什么这个过程会闲置,但过了一段时间就不能完成了?如何调试它们?python中有threaddump吗?

特别声明:以上内容(图片及文字)均为互联网收集或者用户上传发布,本站仅提供信息存储服务!如有侵权或有涉及法律问题请联系我们。
举报
评论区(0)
按点赞数排序
用户头像