Linux服务器 NVIDIA显卡僵尸进程清理
Linux服务器 NVIDIA显卡僵尸进程清理
在 Linux 服务器上跑深度学习任务时,偶尔会遇到一种比较烦人的情况:nvitop、nvidia-smi 等工具里还显示某个 GPU 上挂着进程,但真正去 kill 这个 PID 时,却提示 No such process。这类现象通常意味着你看到的已经不是一个正常运行中的计算任务,而是一次异常退出后残留下来的 GPU 占用记录,实践中经常被统称为“僵尸进程”问题。
这篇文章只介绍一个实用排查流程:先定位是哪张卡出了问题,再沿着该设备文件找到相关宿主进程,最后 kill 掉父进程或同组进程。
1 先定位是哪张显卡出现异常
首先使用 nvitop、nvidia-smi 等工具,确认具体是哪张卡上挂着异常 PID。
例如下图中,可以看到 4号显卡 上出现了 PID 为 1405016 的异常进程:
如果此时你直接执行:
1 | kill -9 1405016 |
却得到:
1 | kill: (1405016) - No such process |
那么通常说明这个 PID 本身已经不再是一个可直接操作的正常用户态进程,但它对应的 GPU 上下文、子进程记录或者驱动侧占用信息还没有完全清理掉。
2 用 fuser 查找这张卡上仍然关联的进程
确认问题出在 4号显卡 后,可以直接检查对应设备文件:
1 | sudo fuser -v /dev/nvidia4 |
fuser 会列出当前仍然打开这个设备文件的进程。实际排查时,经常可以看到一组彼此接近的 PID,它们通常属于同一次任务启动出来的父子进程、同一作业会话,或者同一批次派生的 Python / shell / launcher 进程。
如下图所示,这时候往往就能看到和异常 PID 接近的一批进程:
如果原来异常显示的是 1405016,而 fuser 输出里还能看到一组 140xxxx 的相关进程,那么这些进程就很值得重点排查。
3 逐个 kill 相关父进程或同组进程
接下来就可以对 fuser 查到的相关进程逐个处理,例如:
1 | sudo kill 1405599 |
如果普通 kill 后进程还不退出,再考虑使用更强制的方式:
1 | sudo kill -9 1405599 |
一般来说,把真正持有 /dev/nvidia4 的宿主进程清理掉之后,再刷新 nvitop 或 nvidia-smi,异常占用就会消失。
4 相关理论解释
4.1 什么是“僵尸进程”
严格从 Linux 进程状态来说,僵尸进程(zombie)是指子进程已经退出,但父进程还没有调用 wait() 回收其退出状态,所以内核里还保留着一条进程表项。
但在日常 GPU 运维语境里,大家说“显卡上有僵尸进程”,很多时候并不是在严格讨论 Linux Z 状态,而是在说:
nvidia-smi里还能看到残留 PID;- GPU 显存还像是被占着;
- 直接
kill这个 PID 又提示No such process; - 真正需要处理的是它背后还活着的父进程、启动器进程,或者同一作业链路上的其他进程。
所以这里更准确的理解应该是:GPU 侧仍有残留占用,但表面显示出来的那个 PID 已经不是唯一、也不一定是可直接 kill 的对象。
4.2 为什么会出现这种情况
常见原因包括:
- 训练脚本异常崩溃;
- Python 多进程 / DataLoader 子进程没有完全退出;
- shell、
nohup、tmux、调度器脚本等父进程还活着; - 某些 CUDA 上下文或设备句柄还被关联进程持有。
从系统视角看,GPU 设备文件本质上也是一种内核对象接口。只要还有进程持有 /dev/nvidiaX 对应的文件描述符,驱动层就可能继续认为这张卡仍被使用中。因此,问题的关键不是执着于那个失效的 PID,而是找到现在到底是谁还在占着这张卡。
4.3 为什么 PID 接近常常能帮助定位父进程
这里要强调一点:PID 接近不是数学上绝对推出父子关系的证据,但在服务器排障里非常有参考价值。
原因是 Linux 中的新进程通常由已有进程通过 fork() / clone() 派生出来,而内核分配 PID 时,往往会让同一时间段内创建的一批进程拥有相近的编号。因此:
- 同一次训练任务启动出来的 launcher、python 主进程、worker 进程;
- 同一个 shell 会话下连续拉起的一组作业;
- 同一批次异常遗留的相关进程;
它们的 PID 经常会比较接近。
所以当你看到异常 PID 是 1405016,而 fuser 里刚好还有一串 1405xxx 的进程仍在占用 /dev/nvidia4,这通常就说明它们高度相关,值得优先 kill。
更严谨一点的做法,是再配合下面的命令继续确认:
1 | ps -fp 1405599,1405663,1405790 |
或者查看父子关系:
1 | ps -eo pid,ppid,cmd | grep 1405 |
不过如果只是为了快速恢复一张被异常占用的显卡,很多时候仅靠 fuser + kill 就已经足够有效。
5 小结
遇到 NVIDIA 显卡上的“僵尸进程 / No such process”问题时,可以按下面三步快速处理:
- 用
nvitop或nvidia-smi找到异常 PID 所在的 GPU; - 用
sudo fuser -v /dev/nvidiaX找到当前真正占用该显卡的相关进程; - 用
sudo kill或sudo kill -9逐个清理相关父进程或同组进程。
这个方法的核心不在于直接杀掉那个已经失效的 PID,而在于顺着设备文件找到真正还活着的宿主进程。对于 Linux 服务器上的日常 GPU 运维来说,这是最直接也最常用的一种处理方式。





