Linux服务器长任务管理:tmux、日志与断线恢复
训练、数据处理和批量实验往往运行数小时。SSH 连接只负责当前的远程交互,不能作为任务持续运行的保证。tmux 将任务所在的终端保留在服务器上,使连接中断与任务执行彼此分离;日志则记录任务输出,便于重新登录后判断进度与错误。
本文以 Linux 服务器上的 Bash 为例,介绍从启动到结束的一套完整流程。远程连接与开发环境可先参考 AI Coding指南。
1 tmux 为什么能保留任务
1.1 SSH 连接与远端终端
直接通过 SSH 打开的交互终端与该连接关联。连接断开后,终端可能挂断,Shell 及其任务可能收到挂断信号或被清理。具体行为取决于 Shell、任务启动方式和服务器策略,不能仅凭“命令已经开始执行”判断它会继续运行。
tmux 在服务器上运行一个后台 server 进程,由它管理会话和各个窗格的伪终端。通过 SSH 执行 tmux attach 时,启动的是连接到这个 server 的 client;键盘输入和屏幕输出通过 client 转交。
这里的 server 与 client 都运行在 Linux 服务器上,是 tmux 内部的进程角色,不是分别指 Linux 服务器和个人电脑。SSH 断开通常只使 client 离开,任务所使用的伪终端仍由 tmux server 保持。架构见 tmux 官方入门说明。
1.2 会话、窗口与窗格
tmux 使用三层结构组织终端:
- 会话(session):一组工作上下文,例如一次实验
train-demo。 - 窗口(window):会话中的终端页,适合区分训练、日志和监控。
- 窗格(pane):窗口分屏后的一个区域,各自拥有独立的终端和前台程序。
离开会话称为 detach,只断开交互入口。重新附着称为 attach,显示原有终端,既不会重新启动训练,也不会自动重复之前的命令。
1.3 持续运行的边界
tmux 不保存进程的可恢复快照。服务器重启、tmux server 被终止、系统回收用户进程、任务内存耗尽或程序自身退出,都可能结束任务。模型 checkpoint、断点下载和异常重试仍需由实际程序实现。
PC 断网不一定影响远端计算;服务器短时断网时,完全依赖本地文件的计算也可能继续。但持续调用 API、访问网络存储或下载数据的任务,仍依赖对应网络服务。
如果服务器通过 SSH 反向转发借用 PC 的代理,PC 休眠后这条出口也会消失。tmux 保留进程,无法保留已经断开的 PC 代理通道。 联网方式见 Linux服务器代理联网指南:Clash与Mihomo。
2 普通账户准备 tmux
先在服务器检查:
1 | command -v tmux |
已有 tmux 时可以直接使用。集群若采用环境模块,可先查看 module avail,再按实际提供的模块名称加载;并非所有服务器都有 module 命令。
已有 Conda 且允许从 conda-forge 安装软件时,可以将工具放在独立环境中:
1 | conda create -n terminal-tools -c conda-forge tmux |
之后重新登录,需要再次激活该环境才能找到其中的 tmux。进入会话后可以切换到项目自己的 Python 环境,不必把训练依赖安装到 terminal-tools。包来源见 conda-forge tmux。
没有可用模块或 Conda 时,可联系管理员提供 tmux,或按 官方安装说明在个人目录构建。源码编译还依赖编译器、libevent 与终端库,不宜把 sudo apt install 作为普通账户的默认方案。
3 一次长任务的完整流程
3.1 创建会话
SSH 登录到实际运行任务的服务器后执行:
1 | hostname |
第一次使用时,tmux ls 提示没有运行中的 server 是正常情况。若已存在 train-demo,直接使用 tmux attach -t train-demo;不要因重复名称报错就结束原会话。
进入后,终端底部通常会出现 tmux 状态栏。下文项目路径和 train.py 均为示例,分别替换为已有项目目录和实际任务入口。
3.2 在会话内确认项目环境
在 tmux 内执行:
1 | cd ~/projects/demo |
.venv 应事先创建。使用 Conda 项目环境时,将激活命令替换为 conda activate 项目环境名,无需同时激活两套环境。创建与检查方法见 Linux服务器Python环境管理与依赖复现。
已经存在的窗格不会自动获得另一个 SSH 终端新设置的环境变量。调整代理、Python 环境或设备选择后,应在真正启动任务的窗格内确认并应用设置。
3.3 记录日志并启动
以下命令在同一个 tmux 窗格中逐条执行。先建立带时间戳的日志路径:
1 | mkdir -p logs |
随后运行已有项目的入口;项目要求的参数应追加在 train.py 之后、重定向符号之前:
1 | python -u train.py > "$log_file" 2>&1 |
命令以前台方式运行,此时不会立即出现 Shell 提示符。-u 减少 Python 标准输出和错误输出的缓冲;> 写入日志,2>&1 将错误输出合并到同一个文件。命令顺序不能随意交换。
这里的时间戳用于区分每次运行的日志文件名,不会为每行输出自动增加时间。需要逐行时间时,应在项目的 logging 配置中加入时间字段。
输出被重定向后,训练窗口没有持续刷屏并不表示卡住。可在另一个窗口查看日志;GPU 任务同时配合 GPU监控与资源排查 确认资源活动。
3.4 离开会话
任务运行期间按 Ctrl+B,松开,再按小写 d。出现 detached 提示后,已经回到外层 SSH Shell;此时关闭 SSH 窗口不会主动结束 tmux 中的任务。
这个操作不需要先暂停训练,也不需要给命令补上 &。若终端暂时没有响应,可重新建立 SSH 连接检查会话,避免重复启动同一个实验。
3.5 重新连接与查看日志
重新 SSH 登录到同一台服务器、同一个账户后执行:
1 | tmux ls |
如果旧连接仍被标记为 attached,而需要让它离开,可以执行 tmux attach -d -t train-demo。-d 会使这个会话上的其他 client 离开;多个入口原本也可以同时查看同一个会话。
只查看日志时不必 attach。先列出最近日志,再将下一条命令的文件名替换为实际结果:
1 | ls -lt ~/projects/demo/logs |
在这个日志终端按 Ctrl+C,停止的是 tail。训练进程在另一窗格中,不受该按键影响。查阅较长的已写入日志可以用 less 日志路径,按 q 退出。
3.6 结束与收尾
训练自然退出后,原窗格重新出现 Shell 提示符。若需要记录退出码,紧接着运行 echo $?;0 通常表示成功,非零表示程序或信号导致了异常退出。执行其他命令后再读取 $?,得到的已是另一条命令的状态。
提前停止时,优先使用项目支持的正常停止方式,或在训练所在窗格按 Ctrl+C。是否保存 checkpoint 取决于项目实现,发送中断信号本身不保证保存进度。
确认任务和其他前台程序都已结束后,在空闲 Shell 中执行 exit 关闭该窗格;最后一个窗格退出后,默认情况下会话也随之结束。
tmux kill-session -t train-demo 会销毁整个指定会话,tmux kill-server 会销毁该 tmux server 管理的所有会话。它们不应作为日常“离开终端”的操作。
4 常用组合键
以下组合均以默认前缀 Ctrl+B 开始:先按下并松开前缀,再输入后续键。服务器已有个人配置时,前缀和绑定可能不同,可用 tmux list-keys 检查。
4.1 会话与窗口
d:detach,返回外层终端。s:显示会话列表。c:创建新窗口。n/p:切换到下一个 / 上一个窗口。0~9:切换到相应编号的窗口。w:查看窗口列表。,:重命名当前窗口,例如train、logs、gpu。
4.2 分屏与切换
%:左右分屏。":上下分屏。- 方向键:切换到对应方向的窗格。
z:临时放大当前窗格,再按一次恢复。- 空格:切换预设布局。
分屏符号需要按键盘布局配合 Shift 输入。多个窗格有各自的工作目录和 Shell 状态;新窗格中应重新确认项目环境。
4.3 历史输出与帮助
[:进入复制模式,滚动查看历史输出;默认配置下按q退出。?:显示按键帮助,按q返回。::打开 tmux 命令提示行,可输入rename-window logs等 tmux 命令。
tmux 的历史缓冲区有大小限制,不能替代写入文件的实验日志。鼠标滚轮是否控制 tmux 历史,取决于 tmux 与终端软件的鼠标设置。
4.4 几个容易混淆的操作
Ctrl+C 不带 tmux 前缀,通常向当前终端的前台进程组发送中断信号;Ctrl+Z 通常暂停前台任务,而不是让它持续计算。误按 Ctrl+Z 后,可在同一 Shell 用 jobs 查看,再用 fg 恢复到前台。
exit 是退出当前 Shell,detach 是离开 tmux client。只想断开个人电脑与任务的交互时,使用 detach。
5 tmux、nohup 与后台执行
在命令末尾加 &,只是让 Shell 在后台启动它,不能单独保证 SSH 断线后继续运行。nohup 则让启动的命令忽略挂断信号,但不提供可重新附着的交互终端,也不自动重启失败任务。
对于不需要交互的单次脚本,可以明确重定向输入和输出后使用 nohup:
1 | cd ~/projects/demo |
这里的 train.py 仍是已有项目的入口,不应与前面的 tmux 示例同时执行同一个实验。$! 记录刚启动的后台进程 PID;多进程训练还可能存在启动器和子进程,不能只凭一个 PID 判断全部资源已经释放。
需要断线后继续交互、切换多个终端时使用 tmux;固定脚本只需要后台执行和日志时可使用 nohup。两者均受服务器的用户进程清理策略约束,也都不能跨重启保存运行中的进程状态。
6 与 Slurm 等调度系统配合
集群通常区分登录节点与计算节点。登录节点用于编辑、提交和查看任务,是否允许在其上执行计算由集群规定。登录节点上的 tmux 不会自动获得 GPU 或其他计算资源。
Slurm 中常用 sbatch 提交批处理脚本,squeue 查看队列,scancel 取消自己的作业。分区、账户、GPU 数量和时限参数必须使用所在集群提供的值。基本流程见 Slurm 官方用户指南。
已被 Slurm 接收的批处理作业通常不再依赖提交它的 SSH 连接。tmux 可以保留编辑和监控终端,但不能延长资源分配期限;交互式资源申请的存活条件还取决于集群配置和启动方式。
7 断线后找不到任务时
先确认连接到相同节点与账户,再查看 tmux ls、进程和日志。多节点系统即使共享主目录,也不会共享正在运行的 tmux server。
1 | hostname |
会话存在而训练已退出时,检查日志末尾和退出原因;日志中出现连接失败,则检查任务依赖的网络出口。若进程也已消失,重新 attach 不会恢复它,只能由项目支持的 checkpoint 或续跑功能重新启动。
VS Code Remote 窗口关闭与 tmux detach 也不是同一个操作。需要在编辑器里运行长任务时,可以从远端集成终端进入 tmux,再按同样流程管理;远端终端的位置说明见 VS Code远程开发指南。





