Linux 服务器上的开发通常围绕一条工作流展开:通过 SSH 登录,在远端配置环境、编辑代码并运行任务,再通过日志和资源监控确认运行状态。个人电脑提供交互界面,服务器提供计算资源与存储,两者通过网络连接协作。

本文按连接、开发、AI 辅助、联网配置和任务管理的顺序整理常用操作。示例以 Windows 本机 + Linux 服务器 + Bash 为主;没有特别说明时,Linux 命令均使用普通账户执行。

各环节的完整流程与排错方法另整理为独立文章,可按当前任务查阅:

1 总览:在服务器上开发意味着什么

1.1 为什么使用 Linux 环境

许多科研代码、GPU 计算工具与集群作业系统主要围绕 Linux 提供部署和运行说明。统一到服务器的 Linux 环境,可以减少路径、Shell 脚本、编译工具链与依赖版本的差异,也便于让数据和计算任务留在同一台机器上。

这并不要求个人电脑也安装 Linux。Windows 上的终端、SSH 客户端和 IDE 已能完成大部分远程操作;只有在确实需要本地 Linux 工具时,才有必要额外配置 WSL 等环境。

需要区分三个位置:

  • 本机:Windows 电脑,运行命令提示符、MobaXterm、VS Code 界面和浏览器。
  • 服务器:Linux 主机,保存远端代码与数据,运行 Python、编译器、训练任务和命令行 AI 工具。
  • 外部服务:软件仓库、模型接口、数据下载站点等,由实际发起请求的机器访问。

因此,本机安装了 Python,不代表服务器已经安装;本机能访问某个网站,也不代表服务器能访问。127.0.0.1 和 localhost 始终指向当前发起连接的那台机器。

1.2 开始前需要的信息

连接服务器至少需要主机地址、SSH 端口、用户名,以及密码或已授权的 SSH 密钥。若服务器只允许校园网、VPN 或跳板机访问,还需要先满足相应的网络条件。

全文使用以下示例,执行时替换为实际信息:

  • 主机:server.example.edu。
  • 用户:alice。
  • SSH 端口:22。
  • SSH 连接别名:lab。
  • 项目目录:~/projects/demo。

登录后可以先确认所在机器与账户:

1
2
3
4
hostname
whoami
pwd
echo "$HOME"

~ 和 $HOME 都表示当前用户的主目录。个人软件和配置通常放在这里;大型数据集、模型权重和实验输出则应放在服务器规定的数据目录,并注意磁盘配额。

2 通过 SSH 连接 Linux 服务器

SSH 提供加密的远程登录通道。密码认证和密钥认证使用同一套 SSH 协议,区别在于服务器如何确认用户身份;是否允许某种认证方式,由服务器配置决定。

2.1 在 Windows 命令提示符中使用密码连接

在 Windows 命令提示符(CMD) 中检查客户端:

1
ssh -V
Windows 命令提示符中执行 ssh -V 后显示 OpenSSH 客户端版本
图1. 显示 OpenSSH 版本信息,表示本机可以调用 SSH 客户端。

若系统无法识别 ssh,可在 Windows 的“可选功能”中检查或安装 OpenSSH 客户端。连接远端不需要安装本机 OpenSSH 服务器。安装入口可参考 Microsoft OpenSSH 文档。

在本机 CMD 中连接:

1
ssh -p 22 alice@server.example.edu

第一次连接会显示服务器的主机密钥指纹。与管理员提供的指纹核对一致后,输入 yes 保存信任记录;随后输入账户密码。终端输入密码时通常不显示字符或星号,这是正常行为。

登录成功后,当前终端中的命令在 Linux 服务器执行。输入 exit 可退出远程 Shell,回到本机。若服务器禁用了密码登录,需要先请管理员登记公钥。

SSH 登录成功后显示的 Ubuntu 系统信息与服务器公告
图2. 登录后的终端示例;系统版本、更新提示和资源使用规定以实际服务器为准。

2.2 生成密钥并配置公钥认证

SSH 密钥包含一对文件:私钥保留在本机,公钥登记到服务器。私钥相当于登录凭据,公钥则用于服务器验证签名。密钥上的口令(passphrase)用于保护本地私钥,与服务器账户密码不同。

在本机 CMD 中执行:

1
ssh-keygen -t ed25519 -C "alice-laptop"

按提示选择保存位置并设置口令。默认文件通常为:

1
2
C:\Users\你的用户名\.ssh\id_ed25519       私钥
C:\Users\你的用户名\.ssh\id_ed25519.pub 公钥

如果提示文件已经存在,不要直接覆盖;可以保留现有密钥,或为新密钥指定不同文件名。生成与使用方法见 Microsoft 密钥认证说明。

先在本机显示公钥:

1
type "%USERPROFILE%\.ssh\id_ed25519.pub"

再通过密码登录服务器,在服务器终端准备目录和授权文件:

1
2
3
4
5
6
mkdir -p ~/.ssh
chmod 700 ~/.ssh
touch ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
printf '\n' >> ~/.ssh/authorized_keys
cat >> ~/.ssh/authorized_keys

粘贴刚才显示的完整公钥行,按一次回车,再按 Ctrl+D 结束输入。这里使用 >> 追加,保留已有的其他公钥;printf 确保新公钥从新的一行开始。不要粘贴私钥文件内容。

保持这个连接,另开一个本机 CMD 验证:

1
ssh -i "%USERPROFILE%\.ssh\id_ed25519" -p 22 alice@server.example.edu

若提示 Enter passphrase for key,输入的是私钥口令。若仍提示账户密码,说明公钥认证没有成功,应检查用户名、公钥内容、文件权限与服务器是否启用公钥认证。

2.3 用 SSH 配置文件保存连接参数

Windows OpenSSH 默认读取 %USERPROFILE%\.ssh\config。这是一个没有 .txt 后缀的文本文件,可填写:

1
2
3
4
5
6
7
8
Host lab
HostName server.example.edu
User alice
Port 22
IdentityFile ~/.ssh/id_ed25519
IdentitiesOnly yes
ServerAliveInterval 30
ServerAliveCountMax 3

之后在本机执行 ssh lab 即可连接。使用密码认证时,省略 IdentityFile 与 IdentitiesOnly 两行;若密钥使用了其他文件名,修改 IdentityFile。

ServerAliveInterval 会在一段时间未收到服务器数据时发送探测消息,有助于检测连接失效,也可能减少空闲连接被中间设备回收的情况。它不能让任务在真正断线后自动继续运行,长任务应配合第 6 节的 tmux。配置含义见 OpenSSH 客户端配置手册。

2.4 使用 MobaXterm

MobaXterm 将 SSH 会话、终端和 SFTP 文件面板放在同一个界面中,适合经常连接多台服务器或传输文件的场景。

MobaXterm 主界面,顶部为 Session 入口,左侧为已保存的会话列表
图3. 通过左上角 Session 新建连接,或从左侧列表打开已保存的会话。
  1. 新建 Session → SSH。
  2. 在 Remote host 填写服务器地址,勾选 Specify username 并填写用户名,按实际情况设置端口。
  3. 密码模式:连接后按提示输入服务器账户密码。
  4. 密钥模式:在 Advanced SSH settings → Use private key 选择本机私钥文件,例如 id_ed25519,不是 .pub 文件;有私钥口令时再输入口令。
  5. 保存会话,之后从会话列表打开连接。
MobaXterm SSH 会话设置中的服务器地址、用户名、端口与私钥文件选项
图4. Remote host、Specify username 和 Port 分别对应主机地址、用户名和 SSH 端口;使用密钥认证时勾选 Use private key 并选择私钥。

密钥模式仍要求对应公钥已写入服务器的 authorized_keys。连接后,左侧 SFTP 面板可用于上传和下载文件;该面板中的路径属于服务器。界面选项见 MobaXterm 官方文档。

3 在 VS Code 中远程开发

3.1 Remote - SSH 的工作方式

在本机 VS Code 中安装 Microsoft 发布的 Remote - SSH 扩展(ms-vscode-remote.remote-ssh)。它通过 SSH 在远端用户目录部署 VS Code Server:编辑器界面留在本机,远端文件访问、终端以及需要在远端运行的扩展由服务器处理。

VS Code 扩展市场搜索 remote ssh,并选中 Microsoft 发布的 Remote - SSH 扩展
图5. 在扩展面板搜索 Remote - SSH 并核对发布者为 Microsoft。截图中的扩展已安装,因此显示更新按钮;首次安装时选择 Install。

这意味着保存远程工作区中的文件时,修改的是服务器上的文件;远程窗口中打开的集成终端也默认在服务器执行命令。它不是自动维护两份代码的文件同步工具。架构与要求见 Remote - SSH 官方说明。

3.2 密码模式连接

先在本机 CMD 中确认 ssh lab 可以正常登录。随后在 VS Code 按 Ctrl+Shift+P 打开命令面板:

  1. 执行 Remote-SSH: Connect to Host…,选择 lab。
  2. 首次连接按提示选择 Linux,并输入服务器密码。
  3. 等待远端组件安装完成,确认窗口左下角显示 SSH: lab。
  4. 通过 File → Open Folder 打开服务器上的项目目录。

首次安装或建立多个连接时,可能需要重复输入密码。如果认证提示未显示,可在本机用户设置中开启:

1
2
3
{
"remote.SSH.showLoginTerminal": true
}

3.3 密钥模式连接

使用第 2 节带 IdentityFile 的 SSH 配置即可,Remote - SSH 可以复用该配置中的私钥。带口令的私钥仍可能要求输入口令;需要减少重复输入时,可使用本机 ssh-agent 缓存已解锁的密钥。

若 CMD 能连接、VS Code 却不能,先查看 输出(Output)→ Remote - SSH 中使用的 SSH 程序和配置文件。必要时通过 remote.SSH.configFile 指定同一个配置文件,避免多个 SSH 客户端各自读取不同配置。

3.4 选择远端扩展与解释器

连接后,扩展面板会区分本地扩展与安装在 SSH: lab 上的扩展。Python 等需要访问项目环境的扩展应按提示安装到远端;主题等界面扩展通常保留在本地。

在远端项目中执行 Python: Select Interpreter,选择服务器上的虚拟环境。可以在集成终端检查:

1
2
3
hostname
command -v python
python -c "import sys; print(sys.executable)"

解释器选择与终端是否已激活同一个环境需要分别确认。远端组件安装失败时,也应区分网络问题与系统兼容性问题;旧系统的运行库不足,无法通过设置代理解决。具体要求见 远端 Linux 系统要求。

4 AI 辅助编程与自动化科研

命令行编程 Agent 可以直接在服务器项目目录中阅读代码、修改文件、运行检查并分析输出。常见用途包括梳理仓库入口、补充数据预处理脚本、定位异常、编写测试,以及将已确认的实验流程整理为批量运行脚本。

任务描述应包含输入、输出和执行边界。例如,要求“读取训练入口和配置,补充小样本检查,运行已有测试,并列出修改内容”,比只要求“把项目跑起来”更便于验证。涉及完整数据处理或 GPU 训练时,应先确定数据范围和资源预算。

4.1 Claude Code 与 cc-switch

Claude Code 的用户级安装,以及通过 cc-switch 管理 API Key、服务地址和模型配置,已在 Linux服务器 安装Claude Code教程 中介绍,此处不再重复。

在远端运行这类工具时,访问模型接口的是服务器。PC 浏览器可以访问某个服务,并不能证明服务器端的 API 请求可用;认证信息与网络连通性需要分别检查。

4.2 无 sudo 安装 Codex CLI

Codex CLI 可通过官方独立安装脚本安装到个人目录,无需先安装 Node.js,也无需管理员权限。以下命令在 Linux 服务器的 Bash 终端 中执行。

先检查基础工具和架构:

1
2
3
command -v curl
command -v sh
uname -m

下载安装脚本,查看后执行:

1
2
3
4
5
mkdir -p "$HOME/.cache/codex-install"
curl -fsSL https://chatgpt.com/codex/install.sh \
-o "$HOME/.cache/codex-install/install.sh"
less "$HOME/.cache/codex-install/install.sh"
sh "$HOME/.cache/codex-install/install.sh"

less 中按 q 退出查看。官方默认命令目录为 ~/.local/bin;安装完成后,将其加入当前 Shell 的搜索路径并验证:

1
2
3
export PATH="$HOME/.local/bin:$PATH"
command -v codex
codex --version

若希望新的 Bash 终端也能找到命令,在 ~/.bashrc 中添加一次以下内容:

1
export PATH="$HOME/.local/bin:$PATH"

然后执行 source ~/.bashrc。如果文件中已有相同设置,无需重复添加。安装方式与目录定义分别见 Codex CLI 官方文档和 Codex 环境变量说明。

若下载失败,先检查服务器网络;若出现架构不匹配或系统库相关错误,则需要根据完整报错选择兼容环境,不能通过给命令加 sudo 解决。

4.3 无图形界面服务器上的登录

支持 Codex 的 ChatGPT 账户可使用设备码登录:

1
codex login --device-auth

在本机浏览器打开终端给出的验证地址,输入一次性验证码并完成认证。这种方式不需要在服务器启动浏览器;账户或组织需要允许设备码认证,服务器本身也要能够访问认证服务。

如果使用 OpenAI API Key,可在服务器 Bash 中通过隐藏输入传入:

1
2
3
4
5
read -rsp 'OpenAI API Key: ' codex_api_key
printf '\n'
printf '%s\n' "$codex_api_key" | codex login --with-api-key
unset codex_api_key
codex login status

上述方式避免把 Key 明文写进命令历史;登录工具仍会按其凭据存储配置保存认证信息。不要将认证文件或密钥提交到项目仓库。ChatGPT 账户登录与 API Key 是不同认证及计费路径,第三方接口也不能仅凭一个 Key 就视作与官方接口完全兼容。详情见 Codex 认证说明。

4.4 在项目目录中使用

进入目标仓库后启动:

1
2
3
cd ~/projects/demo
git status --short
codex

一次修改完成后,可通过以下命令检查差异:

1
2
git diff --stat
git diff

对于已经明确的检查任务,可以使用非交互模式。例如,在 Git 仓库根目录执行:

1
2
codex exec --sandbox read-only \
"阅读当前仓库,说明训练入口、配置文件和已有测试;不要修改文件,也不要启动训练。"

非交互模式适合接入脚本,但仍受沙箱、网络与权限设置约束;上例可能无法运行会写缓存的检查。需要修改文件或运行实验时,应按任务需要配置权限,不应把关闭全部保护作为默认步骤。参见 Codex 非交互模式。

在科研流程中,通常先用小样本确认脚本和指标,再批量执行,并保留配置、日志与代码版本。AI 对结果的解释也需要与实际输出核对。

5 代理联网与 VS Code 下载配置

5.1 代理设置为什么要区分本机和服务器

代理的作用是让请求先到达代理服务,再由代理服务连接目标站点。配置能否生效,取决于两个条件:应用是否读取这项配置,以及该应用能否访问配置中的代理地址。

例如,本机代理监听 127.0.0.1:7890,这个地址对 Windows 上的应用有效;在 Linux 服务器上设置同一个地址,访问的却是服务器自己的 7890 端口,不会自动连接到个人电脑。

在服务器上独立运行代理核心、导入配置和检查联网状态的完整流程,见 Linux服务器代理联网指南:Clash与Mihomo。下面侧重终端、SSH 转发与 VS Code 之间的配置关系。

5.2 为服务器终端配置 HTTP 代理

如果服务器已有可用的本地 HTTP 代理,假设监听于 127.0.0.1:7890,可在服务器终端设置:

1
2
3
4
5
6
export http_proxy=http://127.0.0.1:7890
export https_proxy=http://127.0.0.1:7890
export HTTP_PROXY="$http_proxy"
export HTTPS_PROXY="$https_proxy"
export no_proxy=localhost,127.0.0.1,::1
export NO_PROXY="$no_proxy"

这里 https_proxy 的值仍可使用 http://:它描述的是连接代理所用的协议,HTTPS 目标通常通过 HTTP CONNECT 隧道访问。只有代理服务本身支持 TLS 连接时,才使用相应的 https:// 代理地址。

环境变量只影响读取它们的程序和之后启动的子进程,不等同于整台服务器开启全局代理。不同工具的支持范围也不同;例如 curl 的 HTTP 代理变量使用小写 http_proxy。参见 curl 代理环境变量说明。

可先对需要访问的站点测试:

1
curl -I --connect-timeout 10 https://github.com

代理握手成功并不等于目标请求已经成功,还应检查后续响应。关闭当前终端中的这些设置:

1
unset http_proxy https_proxy HTTP_PROXY HTTPS_PROXY no_proxy NO_PROXY

如果使用的是 SOCKS5 端口,不能直接当成 HTTP 端口填写。以 curl 为例,可用 curl --proxy socks5h://127.0.0.1:7891 https://example.com;其中 socks5h 表示由代理解析目标域名,端口应以实际代理配置为准。

5.3 通过 SSH 转发使用 PC 上的代理

若代理只运行在 PC 上,可在服务器允许远程端口转发的前提下,建立一条反向转发通道。在 本机 CMD 中执行:

1
ssh -N -o ExitOnForwardFailure=yes -R 127.0.0.1:17890:127.0.0.1:7890 lab

保持该窗口运行。它将服务器的 127.0.0.1:17890 转发到 PC 的 127.0.0.1:7890;-N 表示仅转发、不启动远程 Shell。随后在另一个服务器终端设置:

1
2
3
4
export http_proxy=http://127.0.0.1:17890
export https_proxy=http://127.0.0.1:17890
export HTTP_PROXY="$http_proxy"
export HTTPS_PROXY="$https_proxy"

请求路径为:服务器程序 → 服务器 17890 端口 → SSH 通道 → PC 7890 代理 → 目标站点。这里显式绑定服务器回环地址,避免对外部网络开放转发端口;在共享服务器上,同机其他用户仍可能访问该回环端口。

这种方案依赖 PC、代理软件与 SSH 通道持续在线。 PC 休眠或断网后,服务器即使仍在运行,也会失去这条联网通道。长期运行且持续调用 API 的任务,应使用服务器侧稳定可用的网络出口。端口转发语义见 OpenSSH 手册。

5.4 VS Code 的本地代理设置

如果本机访问扩展市场或下载组件较慢,在本机 VS Code 打开 Preferences: Open User Settings (JSON),将以下字段合并到现有设置中:

1
2
3
4
5
{
"http.proxy": "http://127.0.0.1:7890",
"http.proxySupport": "on",
"remote.SSH.localServerDownload": "always"
}

VS Code 的多数界面请求遵循系统代理;http.proxy 为仍读取该设置的扩展及相关请求指定代理,http.proxySupport 控制扩展代理支持。代理线路更合适时,可以改善经过代理的扩展市场请求与下载速度,但并非所有扩展的自定义下载器都会遵循它。

remote.SSH.localServerDownload: "always" 则明确让 Remote - SSH 在本机下载 VS Code Server,再传到服务器。它解决的是远端核心组件的获取方式,不代表所有远端扩展或模型文件都改由本机下载。说明见 VS Code 网络配置与 Remote - SSH 下载机制。

5.5 远端扩展仍然无法联网时

扩展装在远端后,它发起的部分请求也在远端执行。即使它读取到了本地代理设置,127.0.0.1:7890 也不会因此变成可从服务器访问的 PC 代理。

对于支持以下设置的版本,可在连接后的 Remote 设置 中关闭本地代理配置的沿用,再指定服务器可达的代理。例如配合上一节建立的 17890 转发:

1
2
3
4
5
{
"http.useLocalProxyConfiguration": false,
"http.proxy": "http://127.0.0.1:17890",
"http.proxySupport": "on"
}

这些设置应写入远端作用域,避免覆盖本机所需的 7890 配置。若扩展使用自己的网络库,可能还需要它专门的代理选项,或在远端 VS Code Server 启动环境中设置 HTTP_PROXY、HTTPS_PROXY。

在已打开的集成终端里执行 export,不会反过来修改已经运行的扩展宿主环境。遇到证书错误应检查代理及证书信任链,不宜通过关闭证书验证处理下载问题。可按 远端扩展联网排查说明核对当前版本行为。

6 使用 tmux 保留远端任务

6.1 tmux 解决的是什么问题

直接在 SSH 终端里运行程序,连接断开时,Shell 退出或终端挂断可能导致程序结束。tmux 在服务器上维护独立的会话和伪终端,SSH 连接只是附着到这个会话的一个入口;断开入口后,会话内的进程仍可继续运行。

因此,应先在服务器启动 tmux,再在 tmux 内启动长任务。之后即使 PC 断网、休眠,或关闭终端,也可以重新 SSH 登录并接回同一会话。会话模型见 tmux 官方入门文档。

tmux 保留的是会话,不保证程序永不退出。服务器重启、进程被终止、内存耗尽、作业达到时限或程序自身报错,都可能结束任务;依赖网络的程序还需要相应网络连接。纯本地计算即使服务器暂时断网也可能继续,而依赖 PC 代理的 API 任务会随代理通道中断而失去连接。

6.2 创建、离开与恢复会话

在服务器检查是否已安装:

1
tmux -V

若没有 tmux,可使用集群提供的软件模块,或已有 Conda 环境安装 conda install -c conda-forge tmux;没有这些条件时再联系管理员安装。

创建一个名为 train 的会话:

1
tmux new -s train

进入会话后,切换目录、激活环境并运行任务。下面的 train.py 代表项目自己的训练入口:

1
2
3
4
cd ~/projects/demo
source .venv/bin/activate
mkdir -p logs
python -u train.py > logs/train.log 2>&1

.venv 需要事先创建,方法见第 7 节;使用 Conda 时替换为对应环境的激活命令。-u 减少 Python 标准输出的缓冲,2>&1 将错误输出也写入日志。

任务运行期间,按 Ctrl+B,松开,再按 D(小写 d),即可离开会话。这个操作称为 detach,不会结束内部任务。之后可以关闭 SSH 连接。

重新登录服务器后:

1
2
tmux ls
tmux attach -t train

如果只想查看日志,无需重新进入训练窗口:

1
tail -f ~/projects/demo/logs/train.log

此时 Ctrl+C 结束的是 tail,不是另一个会话中的训练。若在训练所在窗格直接按 Ctrl+C,则会向训练进程发送中断信号。

6.3 常用组合键

以下按键均先按 Ctrl+B 并松开,再按后续键;%、" 等符号需要按键盘布局配合 Shift 输入。

  • d:离开当前会话,任务继续运行。
  • c:新建窗口;n / p:切换到下一个 / 上一个窗口。
  • 0~9:切换到对应编号的窗口;w:打开窗口列表。
  • %:左右分屏;":上下分屏。
  • 方向键:切换窗格;z:放大当前窗格或恢复布局。
  • [:进入历史输出查看模式;默认按键配置下按 q 退出。
  • ?:查看组合键帮助。

在空闲 Shell 中执行 exit 会关闭该窗格;最后一个窗格退出后,会话也会结束。exit 与 detach 的作用不同。结束实验后再关闭不再需要的窗格和会话即可。

6.4 tmux 与作业调度系统

若服务器由 Slurm 等系统管理,计算资源应通过调度器申请,长时间训练通常通过批处理作业提交。tmux 适合保持交互操作,但不能替代资源申请,也不能延长作业时限;登录节点上的 tmux 不会自动获得 GPU 计算资源。

Slurm 已提交的批处理作业通常不依赖提交时的 SSH 会话。作业是否继续、何时结束,由调度器与作业本身决定。参见 Slurm 用户入门。

7 其他常用操作

7.1 路径、编辑器与终端快捷键

Linux 文件名区分大小写,data.csv 与 Data.csv 是不同文件。含空格的路径用引号包裹。以下命令覆盖最常见的目录操作:

1
2
3
4
5
pwd                    # 查看当前位置
ls -lah # 查看文件,包括隐藏文件
cd ~/projects # 进入个人项目目录
cd .. # 返回上一级
mkdir -p ~/projects/demo

按 Tab 补全路径和命令,Ctrl+R 搜索历史命令,Ctrl+C 中断前台程序。Ctrl+Z 通常只是暂停程序,并不等于后台运行或退出,暂停的进程仍可能持有资源。

如果服务器装有 nano,可用 nano ~/.bashrc 编辑个人配置,Ctrl+O 保存、回车确认,Ctrl+X 退出;也可以通过 VS Code 远端窗口编辑。删除文件前应确认当前路径,尤其不要将未经检查的 rm -rf 命令直接用于数据目录。

7.2 每个项目使用独立 Python 环境

在服务器项目目录中创建虚拟环境:

1
2
3
4
5
cd ~/projects/demo
python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -r requirements.txt

最后一条命令以项目存在 requirements.txt 为前提。python -m pip 明确使用当前解释器对应的 pip,能够减少依赖安装到错误环境的情况。离开环境使用 deactivate。

若系统缺少 venv 支持,可使用服务器已有的 Conda 或 Python 模块环境。虚拟环境隔离 Python 包,但不会替代系统 GPU 驱动,也不会自动消除所有系统库依赖。参见 Python venv 文档。

记录依赖可使用 python -m pip freeze > requirements-lock.txt,同时保存 Python 版本、代码提交号和实验配置;仅有依赖列表还不足以完全复现实验。

7.3 使用 nvidia-smi 与 nvitop 查看 GPU

在配有 NVIDIA GPU 且驱动可用的服务器上:

1
2
nvidia-smi
watch -n 1 nvidia-smi
nvidia-smi 显示各 GPU 的显存占用、计算利用率与相关进程
图6. nvidia-smi 状态示例,设备型号和负载数值以实际服务器及采样时刻为准。

第二条每秒刷新一次,按 Ctrl+C 退出。主要关注显存使用量、GPU 利用率与进程列表。显存占用高并不等于 GPU 计算繁忙;GPU 利用率低时,还可能是数据加载、CPU 处理或磁盘 I/O 在等待。

需要更直观的交互界面时,可在个人 Python 环境中安装 nvitop:

1
2
python -m pip install nvitop
nvitop
nvitop 通过条形图展示 GPU 显存和利用率,并列出 CPU、系统内存与进程信息
图7. nvitop 交互监控示例,可同时观察 GPU 负载与主机资源使用情况。

nvitop 可同时查看 GPU 状态与相关进程,按 q 退出监控界面。安装它不需要 sudo,但它依赖服务器已有的 NVIDIA 驱动接口;如果 nvidia-smi 已经无法正常工作,安装 nvitop 通常不能解决底层问题。

在没有调度器管理、且已确认允许使用相应 GPU 的情况下,可限制某次程序看到的设备:

1
CUDA_VISIBLE_DEVICES=0 python train.py

这只是设备可见性设置,不会预约或独占 GPU。可见设备在进程内会重新编号;例如仅暴露设备 2 时,程序内通常仍将它称为 cuda:0。调度系统已经设置该变量时,不应自行覆盖。行为见 NVIDIA CUDA 环境变量文档。

另外,nvidia-smi 顶部的 CUDA Version 表示驱动支持的 CUDA 版本上限,不等于当前 Python 环境安装的 CUDA 运行时版本。已安装 PyTorch 时,可用 python -c "import torch; print(torch.version.cuda)" 查看其构建使用的 CUDA 版本。参见 nvidia-smi 说明。

7.4 文件上传与下载

下面的命令在 Windows CMD 中执行,复用前面的 lab 别名:

1
2
scp "C:\Users\你的用户名\Desktop\config.yaml" lab:~/projects/demo/
scp lab:~/projects/demo/logs/train.log "%USERPROFILE%\Downloads"

第一条上传,第二条下载,目标目录应事先存在。若直接指定连接参数,scp 的端口参数是大写 -P,而 ssh 使用小写 -p:

1
scp -P 22 config.yaml alice@server.example.edu:~/projects/demo/

小文件也可通过 MobaXterm 的 SFTP 面板操作。同步大量目录时,可考虑 rsync;Windows CMD 不一定自带它,可在 WSL 或其他已安装 rsync 的环境中使用。首次同步先用 --dry-run 检查目标路径,谨慎使用会删除目标额外文件的 --delete。

7.5 查看磁盘、内存、进程和日志

1
2
3
4
5
df -h "$HOME"                    # 主目录所在文件系统的可用空间
du -sh ~/projects/demo # 项目目录占用
free -h # 内存概况
ps -u "$USER" -o pid,etime,cmd # 当前用户的进程
tail -n 100 logs/train.log # 日志末尾 100 行

df 显示文件系统容量,不代表个人配额;如果启用了配额,还需使用服务器提供的查询方式。程序未报错却迟迟没有输出时,可结合日志、进程状态与 GPU 使用情况判断,而不是反复启动同一任务。

结束任务前先核对 PID 和命令。一般先用 kill PID 请求正常终止,只有程序无法响应时才考虑强制结束。GPU 显存占用异常的相关排查见 Linux 进程与 GPU 显存占用排查。

7.6 通过 SSH 查看远端 Web 服务

TensorBoard、Jupyter 等工具可以在服务器启动,再通过本地端口转发访问。以已经安装的 TensorBoard 为例,在服务器运行:

1
tensorboard --logdir runs --host 127.0.0.1 --port 6006

在本机 CMD 另开窗口:

1
ssh -N -L 127.0.0.1:16006:127.0.0.1:6006 lab

保持转发连接,在本机浏览器打开 http://127.0.0.1:16006。本机 16006 端口收到的请求,会通过 SSH 到达服务器的 6006 端口。这里使用 -L 将远端服务带到本机,与第 5 节使用 -R 将本机代理带到远端的方向相反。

若本机端口被占用,可更换 16006;服务若运行在其他计算节点上,还需要按照集群网络结构调整转发目标或跳板配置。Web 工具自身的登录或令牌认证仍应保留。