训练、数据处理和批量实验往往运行数小时。SSH 连接只负责当前的远程交互,不能作为任务持续运行的保证。tmux 将任务所在的终端保留在服务器上,使连接中断与任务执行彼此分离;日志则记录任务输出,便于重新登录后判断进度与错误。

本文以 Linux 服务器上的 Bash 为例,介绍从启动到结束的一套完整流程。远程连接与开发环境可先参考 AI Coding指南。

1 tmux 为什么能保留任务

1.1 SSH 连接与远端终端

直接通过 SSH 打开的交互终端与该连接关联。连接断开后,终端可能挂断,Shell 及其任务可能收到挂断信号或被清理。具体行为取决于 Shell、任务启动方式和服务器策略,不能仅凭“命令已经开始执行”判断它会继续运行。

tmux 在服务器上运行一个后台 server 进程,由它管理会话和各个窗格的伪终端。通过 SSH 执行 tmux attach 时,启动的是连接到这个 server 的 client;键盘输入和屏幕输出通过 client 转交。

这里的 server 与 client 都运行在 Linux 服务器上,是 tmux 内部的进程角色,不是分别指 Linux 服务器和个人电脑。SSH 断开通常只使 client 离开,任务所使用的伪终端仍由 tmux server 保持。架构见 tmux 官方入门说明。

1.2 会话、窗口与窗格

tmux 使用三层结构组织终端:

  • 会话(session):一组工作上下文,例如一次实验 train-demo。
  • 窗口(window):会话中的终端页,适合区分训练、日志和监控。
  • 窗格(pane):窗口分屏后的一个区域,各自拥有独立的终端和前台程序。

离开会话称为 detach,只断开交互入口。重新附着称为 attach,显示原有终端,既不会重新启动训练,也不会自动重复之前的命令。

1.3 持续运行的边界

tmux 不保存进程的可恢复快照。服务器重启、tmux server 被终止、系统回收用户进程、任务内存耗尽或程序自身退出,都可能结束任务。模型 checkpoint、断点下载和异常重试仍需由实际程序实现。

PC 断网不一定影响远端计算;服务器短时断网时,完全依赖本地文件的计算也可能继续。但持续调用 API、访问网络存储或下载数据的任务,仍依赖对应网络服务。

如果服务器通过 SSH 反向转发借用 PC 的代理,PC 休眠后这条出口也会消失。tmux 保留进程,无法保留已经断开的 PC 代理通道。 联网方式见 Linux服务器代理联网指南:Clash与Mihomo。

2 普通账户准备 tmux

先在服务器检查:

1
2
command -v tmux
tmux -V

已有 tmux 时可以直接使用。集群若采用环境模块,可先查看 module avail,再按实际提供的模块名称加载;并非所有服务器都有 module 命令。

已有 Conda 且允许从 conda-forge 安装软件时,可以将工具放在独立环境中:

1
2
3
conda create -n terminal-tools -c conda-forge tmux
conda activate terminal-tools
tmux -V

之后重新登录,需要再次激活该环境才能找到其中的 tmux。进入会话后可以切换到项目自己的 Python 环境,不必把训练依赖安装到 terminal-tools。包来源见 conda-forge tmux。

没有可用模块或 Conda 时,可联系管理员提供 tmux,或按 官方安装说明在个人目录构建。源码编译还依赖编译器、libevent 与终端库,不宜把 sudo apt install 作为普通账户的默认方案。

3 一次长任务的完整流程

3.1 创建会话

SSH 登录到实际运行任务的服务器后执行:

1
2
3
hostname
tmux ls
tmux new -s train-demo

第一次使用时,tmux ls 提示没有运行中的 server 是正常情况。若已存在 train-demo,直接使用 tmux attach -t train-demo;不要因重复名称报错就结束原会话。

进入后,终端底部通常会出现 tmux 状态栏。下文项目路径和 train.py 均为示例,分别替换为已有项目目录和实际任务入口。

3.2 在会话内确认项目环境

在 tmux 内执行:

1
2
3
cd ~/projects/demo
source .venv/bin/activate
python -c 'import sys; print(sys.executable)'

.venv 应事先创建。使用 Conda 项目环境时,将激活命令替换为 conda activate 项目环境名,无需同时激活两套环境。创建与检查方法见 Linux服务器Python环境管理与依赖复现。

已经存在的窗格不会自动获得另一个 SSH 终端新设置的环境变量。调整代理、Python 环境或设备选择后,应在真正启动任务的窗格内确认并应用设置。

3.3 记录日志并启动

以下命令在同一个 tmux 窗格中逐条执行。先建立带时间戳的日志路径:

1
2
3
mkdir -p logs
log_file="logs/train-$(date +%Y%m%d-%H%M%S)-$$.log"
printf 'Log: %s\n' "$log_file"

随后运行已有项目的入口;项目要求的参数应追加在 train.py 之后、重定向符号之前:

1
python -u train.py > "$log_file" 2>&1

命令以前台方式运行,此时不会立即出现 Shell 提示符。-u 减少 Python 标准输出和错误输出的缓冲;> 写入日志,2>&1 将错误输出合并到同一个文件。命令顺序不能随意交换。

这里的时间戳用于区分每次运行的日志文件名,不会为每行输出自动增加时间。需要逐行时间时,应在项目的 logging 配置中加入时间字段。

输出被重定向后,训练窗口没有持续刷屏并不表示卡住。可在另一个窗口查看日志;GPU 任务同时配合 GPU监控与资源排查 确认资源活动。

3.4 离开会话

任务运行期间按 Ctrl+B,松开,再按小写 d。出现 detached 提示后,已经回到外层 SSH Shell;此时关闭 SSH 窗口不会主动结束 tmux 中的任务。

这个操作不需要先暂停训练,也不需要给命令补上 &。若终端暂时没有响应,可重新建立 SSH 连接检查会话,避免重复启动同一个实验。

3.5 重新连接与查看日志

重新 SSH 登录到同一台服务器、同一个账户后执行:

1
2
tmux ls
tmux attach -t train-demo

如果旧连接仍被标记为 attached,而需要让它离开,可以执行 tmux attach -d -t train-demo。-d 会使这个会话上的其他 client 离开;多个入口原本也可以同时查看同一个会话。

只查看日志时不必 attach。先列出最近日志,再将下一条命令的文件名替换为实际结果:

1
2
ls -lt ~/projects/demo/logs
tail -n 100 -f ~/projects/demo/logs/实际日志文件名.log

在这个日志终端按 Ctrl+C,停止的是 tail。训练进程在另一窗格中,不受该按键影响。查阅较长的已写入日志可以用 less 日志路径,按 q 退出。

3.6 结束与收尾

训练自然退出后,原窗格重新出现 Shell 提示符。若需要记录退出码,紧接着运行 echo $?;0 通常表示成功,非零表示程序或信号导致了异常退出。执行其他命令后再读取 $?,得到的已是另一条命令的状态。

提前停止时,优先使用项目支持的正常停止方式,或在训练所在窗格按 Ctrl+C。是否保存 checkpoint 取决于项目实现,发送中断信号本身不保证保存进度。

确认任务和其他前台程序都已结束后,在空闲 Shell 中执行 exit 关闭该窗格;最后一个窗格退出后,默认情况下会话也随之结束。

tmux kill-session -t train-demo 会销毁整个指定会话,tmux kill-server 会销毁该 tmux server 管理的所有会话。它们不应作为日常“离开终端”的操作。

4 常用组合键

以下组合均以默认前缀 Ctrl+B 开始:先按下并松开前缀,再输入后续键。服务器已有个人配置时,前缀和绑定可能不同,可用 tmux list-keys 检查。

4.1 会话与窗口

  • d:detach,返回外层终端。
  • s:显示会话列表。
  • c:创建新窗口。
  • n / p:切换到下一个 / 上一个窗口。
  • 0~9:切换到相应编号的窗口。
  • w:查看窗口列表。
  • ,:重命名当前窗口,例如 train、logs、gpu。

4.2 分屏与切换

  • %:左右分屏。
  • ":上下分屏。
  • 方向键:切换到对应方向的窗格。
  • z:临时放大当前窗格,再按一次恢复。
  • 空格:切换预设布局。

分屏符号需要按键盘布局配合 Shift 输入。多个窗格有各自的工作目录和 Shell 状态;新窗格中应重新确认项目环境。

4.3 历史输出与帮助

  • [:进入复制模式,滚动查看历史输出;默认配置下按 q 退出。
  • ?:显示按键帮助,按 q 返回。
  • ::打开 tmux 命令提示行,可输入 rename-window logs 等 tmux 命令。

tmux 的历史缓冲区有大小限制,不能替代写入文件的实验日志。鼠标滚轮是否控制 tmux 历史,取决于 tmux 与终端软件的鼠标设置。

4.4 几个容易混淆的操作

Ctrl+C 不带 tmux 前缀,通常向当前终端的前台进程组发送中断信号;Ctrl+Z 通常暂停前台任务,而不是让它持续计算。误按 Ctrl+Z 后,可在同一 Shell 用 jobs 查看,再用 fg 恢复到前台。

exit 是退出当前 Shell,detach 是离开 tmux client。只想断开个人电脑与任务的交互时,使用 detach。

5 tmux、nohup 与后台执行

在命令末尾加 &,只是让 Shell 在后台启动它,不能单独保证 SSH 断线后继续运行。nohup 则让启动的命令忽略挂断信号,但不提供可重新附着的交互终端,也不自动重启失败任务。

对于不需要交互的单次脚本,可以明确重定向输入和输出后使用 nohup:

1
2
3
4
5
6
7
cd ~/projects/demo
source .venv/bin/activate
mkdir -p logs
log_file="logs/nohup-$(date +%Y%m%d-%H%M%S)-$$.log"
nohup python -u train.py < /dev/null > "$log_file" 2>&1 &
task_pid=$!
printf 'PID: %s\nLog: %s\n' "$task_pid" "$log_file"

这里的 train.py 仍是已有项目的入口,不应与前面的 tmux 示例同时执行同一个实验。$! 记录刚启动的后台进程 PID;多进程训练还可能存在启动器和子进程,不能只凭一个 PID 判断全部资源已经释放。

需要断线后继续交互、切换多个终端时使用 tmux;固定脚本只需要后台执行和日志时可使用 nohup。两者均受服务器的用户进程清理策略约束,也都不能跨重启保存运行中的进程状态。

6 与 Slurm 等调度系统配合

集群通常区分登录节点与计算节点。登录节点用于编辑、提交和查看任务,是否允许在其上执行计算由集群规定。登录节点上的 tmux 不会自动获得 GPU 或其他计算资源。

Slurm 中常用 sbatch 提交批处理脚本,squeue 查看队列,scancel 取消自己的作业。分区、账户、GPU 数量和时限参数必须使用所在集群提供的值。基本流程见 Slurm 官方用户指南。

已被 Slurm 接收的批处理作业通常不再依赖提交它的 SSH 连接。tmux 可以保留编辑和监控终端,但不能延长资源分配期限;交互式资源申请的存活条件还取决于集群配置和启动方式。

7 断线后找不到任务时

先确认连接到相同节点与账户,再查看 tmux ls、进程和日志。多节点系统即使共享主目录,也不会共享正在运行的 tmux server。

1
2
3
4
hostname
whoami
tmux ls
ps -u "$USER" -o pid,ppid,stat,etime,cmd

会话存在而训练已退出时,检查日志末尾和退出原因;日志中出现连接失败,则检查任务依赖的网络出口。若进程也已消失,重新 attach 不会恢复它,只能由项目支持的 checkpoint 或续跑功能重新启动。

VS Code Remote 窗口关闭与 tmux detach 也不是同一个操作。需要在编辑器里运行长任务时,可以从远端集成终端进入 tmux,再按同样流程管理;远端终端的位置说明见 VS Code远程开发指南。