CentOS Stream 9 显卡驱动故障恢复记录

一、故障后临时恢复网络和 SSH

适用于 NetworkManager 无法启动、dhclient 未安装,但本地控制台可以登录的情况。

1. 进入文本模式并登录 root

在 GRUB 启动项临时追加:

systemd.unit=multi-user.target

2. 确认网卡名称并手动启用

本机网卡名称为 enp4s0:

ip addr
ip link set enp4s0 up
ip link show enp4s0

确认网卡状态为 UP、LOWER_UP。

3. 临时配置静态 IPv4 地址和默认路由

本机地址为 192.168.2.249/24,实际网关为 192.168.2.254:

ip addr add 192.168.2.249/24 dev enp4s0
ip route add default via 192.168.2.254 dev enp4s0

检查配置:

ip -br addr
ip route

预期结果包含:

enp4s0  UP  192.168.2.249/24
default via 192.168.2.254 dev enp4s0

4. 验证网络连通性

ping -c 3 192.168.2.254

本次验证结果为 3 个数据包全部收到,丢包率 0%。

5. 检查并启动 SSH 服务

CentOS Stream 9 的服务名是 sshd,不是 ssh:

/usr/sbin/sshd -t
systemctl start sshd
ss -lntup

确认监听地址包含:

0.0.0.0:22
[::]:22

此时可从远程主机连接:

ssh root@192.168.2.249

注意事项

  • ip addr add 和 ip route add 是临时配置,重启后会丢失。
  • 本次未使用 dhclient,因为系统未安装该命令。
  • nmcli 报 Connection refused 表示 NetworkManager 后台服务未运行,不能依赖它恢复网络。
  • 远程 SSH 恢复后,应先修复 NetworkManager、DBus 和持久化网络连接配置,再继续处理 NVIDIA/DKMS。
  • 在故障未定位前不要再次重启或继续安装/卸载 NVIDIA 驱动。

二、Ubuntu 22.04 Server 重装步骤

1. 准备安装介质

下载 Ubuntu 22.04.5 LTS Server amd64 镜像并制作 U 盘启动盘:

https://releases.ubuntu.com/22.04.5/ubuntu-22.04.5-live-server-amd64.iso

使用 UEFI + GPT 模式制作启动盘。重启后从 U 盘启动,选择:

Try or Install Ubuntu Server

2. 选择安装版本

选择标准版:

Ubuntu Server

不要选择 Ubuntu Server minimized,标准版更适合后续安装 NVIDIA 驱动、DKMS 和测试工具。

Ubuntu Pro 可选择:

Skip for now

3. 网络配置

本机固定网络参数:

Subnet:       192.168.2.0/24
Address:      192.168.2.249
Gateway:      192.168.2.254
Name servers: 223.5.5.5, 8.8.8.8

网卡为 enp4s0。镜像地址可使用清华 Ubuntu 镜像:

https://mirrors.tuna.tsinghua.edu.cn/ubuntu/

如果安装器测试镜像失败,恢复使用 Ubuntu 官方地址。

4. 创建管理员用户

Ubuntu 默认不启用 root 直接登录,需要创建一个带 sudo 权限的普通管理员用户:

  • Your name:mars.zhang
  • Your server's name:ubuntu-249
  • Pick a username:marszhang
  • Choose a password:现场设置登录密码

后续使用该用户名登录:

ssh marszhang@192.168.2.249

5. 磁盘选择

本机磁盘:

  • KINGSTON_SKC3000... 约 476.9G:NVMe 系统盘,选择 Use an entire disk,允许格式化。
  • ST2000DM005... 约 1.819T:原 /data 数据盘,不选择、不格式化、不加入安装布局。

系统盘建议使用 LVM,根分区约 100G,EFI 分区和 /boot 由安装器自动创建。不要勾选 LUKS 加密,避免每次启动要求输入解密密码。

在最终确认页面必须确认只有 Kingston NVMe 显示为新建/格式化分区,ST2000 磁盘仅显示为未挂载的已有 ext4 分区。

6. 安装 SSH 并完成重启

在安装器中勾选安装 OpenSSH Server。安装完成后选择 Reboot Now,拔出 U 盘后从 NVMe 系统盘启动。

首次启动后确认:

ip -br addr
systemctl status ssh --no-pager
lsblk -f

7. 重装后的后续顺序

  1. 先确认 BIOS 已恢复默认、XMP/超频已关闭。
  2. 做 CPU 和内存稳定性测试,确认不再出现 Machine check events。
  3. 确认两张 RTX A6000 均被 PCIe 枚举。
  4. 使用 Ubuntu 官方 APT 驱动安装方式配置 NVIDIA 驱动。
  5. 重启后使用 nvidia-smi 验证两张显卡。

Ubuntu 22.04 重装后的实际操作记录(192.168.2.249)

1. 基础系统与网络

系统确认:Ubuntu 22.04.5 LTS,初始内核为 5.15.0-119-generic,网卡为 enp4s0。

数据盘 /dev/sda1 已确认是约 1.8T 的 ext4 分区,UUID 为:

f9a32a48-f959-4c07-87c6-97fd7dd0a421

挂载配置写入 /etc/fstab:

UUID=f9a32a48-f959-4c07-87c6-97fd7dd0a421 /data ext4 defaults,nofail 0 2

当前挂载点为 /data。系统中未发现约 44T 的数据盘。

2. 管理员账户与远程 root

创建并加入 sudo 组的管理员用户:

andy.li
mars.zhang
jichao.liu

随后删除了 marzhang 用户及其主目录 /home/marzhang。

为便于后续维护,新增 /etc/ssh/sshd_config.d/99-root-login.conf:

PermitRootLogin yes
PasswordAuthentication yes

修改后使用 sshd -t 校验并 reload SSH 服务,root 密码登录已验证可用。

3. APT 源

Ubuntu APT 源已切换为清华镜像:

https://mirrors.tuna.tsinghua.edu.cn/ubuntu

包含 jammy、jammy-updates、jammy-backports 和 jammy-security。由于机器没有 IPv6 出口,执行 APT 时使用:

apt-get -o Acquire::ForceIPv4=true update

原 /etc/apt/sources.list 已保留备份。

4. NVIDIA 驱动安装与验证

两张 RTX A6000 均已被 PCIe 枚举,地址为 01:00.0 和 05:00.0。按 Ubuntu 官方 APT 方式安装依赖并自动选择驱动:

apt-get -o Acquire::ForceIPv4=true full-upgrade -y
apt-get -o Acquire::ForceIPv4=true install -y build-essential dkms linux-headers-$(uname -r) ubuntu-drivers-common
ubuntu-drivers autoinstall

系统自动选择并安装:

nvidia-driver-595-open

升级到内核 5.15.0-190-generic 后重启。验证结果:

GPU 0: NVIDIA RTX A6000, 49140 MiB, PCI 01:00.0
GPU 1: NVIDIA RTX A6000, 49140 MiB, PCI 05:00.0

验证命令:

nvidia-smi
nvidia-smi -L
lsmod | grep nvidia
lspci -nnk | grep -A3 -Ei 'VGA|3D|NVIDIA'

5. 其他说明

登录时出现 /usr/bin/xauth: file /root/.Xauthority does not exist 仅表示 SSH X11 转发认证文件尚未创建,不影响命令行、NVIDIA 驱动或 nvidia-smi。桌面上的 Snap 是 Ubuntu 的应用打包/管理机制,其 /dev/loop* 挂载属于正常现象,不是数据盘。

滚动至顶部