Linux服务器 NVIDIA显卡僵尸进程清理

在 Linux 服务器上跑深度学习任务时,偶尔会遇到一种比较烦人的情况:nvitop、nvidia-smi 等工具里还显示某个 GPU 上挂着进程,但真正去 kill 这个 PID 时,却提示 No such process。这类现象通常意味着你看到的已经不是一个正常运行中的计算任务,而是一次异常退出后残留下来的 GPU 占用记录,实践中经常被统称为“僵尸进程”问题。

这篇文章只介绍一个实用排查流程:先定位是哪张卡出了问题,再沿着该设备文件找到相关宿主进程,最后 kill 掉父进程或同组进程。

1 先定位是哪张显卡出现异常

首先使用 nvitop、nvidia-smi 等工具,确认具体是哪张卡上挂着异常 PID。

例如下图中,可以看到 4号显卡 上出现了 PID 为 1405016 的异常进程:

GPU 监控界面中显示的异常进程
图1. GPU 监控界面中显示的异常进程。

如果此时你直接执行:

1
kill -9 1405016

却得到:

1
kill: (1405016) - No such process

那么通常说明这个 PID 本身已经不再是一个可直接操作的正常用户态进程,但它对应的 GPU 上下文、子进程记录或者驱动侧占用信息还没有完全清理掉。

2 用 fuser 查找这张卡上仍然关联的进程

确认问题出在 4号显卡 后,可以直接检查对应设备文件:

1
sudo fuser -v /dev/nvidia4

fuser 会列出当前仍然打开这个设备文件的进程。实际排查时,经常可以看到一组彼此接近的 PID,它们通常属于同一次任务启动出来的父子进程、同一作业会话,或者同一批次派生的 Python / shell / launcher 进程。

如下图所示,这时候往往就能看到和异常 PID 接近的一批进程:

使用 fuser 查询仍在访问 GPU 设备文件的进程
图2. 使用 fuser 查询仍在访问 GPU 设备文件的进程。

如果原来异常显示的是 1405016,而 fuser 输出里还能看到一组 140xxxx 的相关进程,那么这些进程就很值得重点排查。

3 逐个 kill 相关父进程或同组进程

接下来就可以对 fuser 查到的相关进程逐个处理,例如:

1
2
3
4
5
sudo kill 1405599
sudo kill 1405663
sudo kill 1405790
...
sudo kill 1406322

如果普通 kill 后进程还不退出,再考虑使用更强制的方式:

1
2
3
4
5
sudo kill -9 1405599
sudo kill -9 1405663
sudo kill -9 1405790
...
sudo kill -9 1406322

一般来说,把真正持有 /dev/nvidia4 的宿主进程清理掉之后,再刷新 nvitop 或 nvidia-smi,异常占用就会消失。

4 相关理论解释

4.1 什么是“僵尸进程”

严格从 Linux 进程状态来说,僵尸进程(zombie)是指子进程已经退出,但父进程还没有调用 wait() 回收其退出状态,所以内核里还保留着一条进程表项。

但在日常 GPU 运维语境里,大家说“显卡上有僵尸进程”,很多时候并不是在严格讨论 Linux Z 状态,而是在说:

  • nvidia-smi 里还能看到残留 PID;
  • GPU 显存还像是被占着;
  • 直接 kill 这个 PID 又提示 No such process;
  • 真正需要处理的是它背后还活着的父进程、启动器进程,或者同一作业链路上的其他进程。

所以这里更准确的理解应该是:GPU 侧仍有残留占用,但表面显示出来的那个 PID 已经不是唯一、也不一定是可直接 kill 的对象。

4.2 为什么会出现这种情况

常见原因包括:

  • 训练脚本异常崩溃;
  • Python 多进程 / DataLoader 子进程没有完全退出;
  • shell、nohup、tmux、调度器脚本等父进程还活着;
  • 某些 CUDA 上下文或设备句柄还被关联进程持有。

从系统视角看,GPU 设备文件本质上也是一种内核对象接口。只要还有进程持有 /dev/nvidiaX 对应的文件描述符,驱动层就可能继续认为这张卡仍被使用中。因此,问题的关键不是执着于那个失效的 PID,而是找到现在到底是谁还在占着这张卡。

4.3 为什么 PID 接近常常能帮助定位父进程

这里要强调一点:PID 接近不是数学上绝对推出父子关系的证据,但在服务器排障里非常有参考价值。

原因是 Linux 中的新进程通常由已有进程通过 fork() / clone() 派生出来,而内核分配 PID 时,往往会让同一时间段内创建的一批进程拥有相近的编号。因此:

  • 同一次训练任务启动出来的 launcher、python 主进程、worker 进程;
  • 同一个 shell 会话下连续拉起的一组作业;
  • 同一批次异常遗留的相关进程;

它们的 PID 经常会比较接近。

所以当你看到异常 PID 是 1405016,而 fuser 里刚好还有一串 1405xxx 的进程仍在占用 /dev/nvidia4,这通常就说明它们高度相关,值得优先 kill。

更严谨一点的做法,是再配合下面的命令继续确认:

1
ps -fp 1405599,1405663,1405790

或者查看父子关系:

1
ps -eo pid,ppid,cmd | grep 1405

不过如果只是为了快速恢复一张被异常占用的显卡,很多时候仅靠 fuser + kill 就已经足够有效。

5 小结

遇到 NVIDIA 显卡上的“僵尸进程 / No such process”问题时,可以按下面三步快速处理:

  1. 用 nvitop 或 nvidia-smi 找到异常 PID 所在的 GPU;
  2. 用 sudo fuser -v /dev/nvidiaX 找到当前真正占用该显卡的相关进程;
  3. 用 sudo kill 或 sudo kill -9 逐个清理相关父进程或同组进程。

这个方法的核心不在于直接杀掉那个已经失效的 PID,而在于顺着设备文件找到真正还活着的宿主进程。对于 Linux 服务器上的日常 GPU 运维来说,这是最直接也最常用的一种处理方式。