几十万张 GPU 组成的集群里，一块过热的卡就可能拖慢整个训练任务，运维怎么发现它？小编先给结论：NVIDIA 发布了 AIOps 平台 Minerva，把基础设施和工作负载的遥测数据放到一处做关联分析，目标是让 AI 工厂保持高产出。IREN 是已公布的合作部署方。
跨 GPU 网络结构做遥测关联
传统监控把数据中心拆成互不相通的视图：网络团队看一块，计算工程师看另一块，站点可靠性人员的控制台又和机器学习团队不共享同一个模型。Minerva 把这些信号合并成一个运营视图。
平台会采集 GPU 和网络结构的遥测，存储和决定作业落在哪里的调度器也会提供数据。基于这些输入，它构建动态知识图谱，把硬件和上面运行的作业对应起来。即使在有数十万张 GPU 的工厂里，运维也能把一个变慢的训练任务追溯到影响它的具体部件。
藏在底下的成本是 GPU 空转时间。比如任务卡在一块比同伴更烫的卡上，或某块 NVMe 硬盘在负载下吞吐下降，整个集群的有效产出（goodput）就会下滑，token 产量跟着掉。这种规模下，这些预警信号很容易被漏掉。
Minerva 每小时分析数十亿个数据点，结合有监督和无监督机器学习：学习特定拓扑的正常行为，检测平台没见过的异常，并预测正在形成的故障。
告警量是这类工作的重头戏。没有关联分析，一根临界状态的线缆就可能让症状扩散到工厂里的每个仪表盘，运维最终是在处理告警风暴而不是根因。Minerva 把一场事件风暴归并成一个聚焦的事件，并附上可能的根因，这就是“追着告警跑”与“安排维护”的区别。
生产运维中的智能体式修复
内置的 AI 助手提供基于实时遥测的自然语言界面。运维可以通过对话查询集群健康状况并获得修复建议，再选择由人来执行修复，还是由 Minerva 通过基础设施 API 和外部系统交给自动化处理；它也支持连接第三方智能体 AI 工具。
| 能力 | 说明 |
|---|---|
| 数据来源 | GPU、网络结构、存储、调度器 |
| 核心方法 | 动态知识图谱，硬件与作业对应 |
| 分析规模 | 每小时数十亿数据点 |
| 异常检测 | 有监督与无监督机器学习，预测新出现的故障 |
| 告警处理 | 把事件风暴归并为带根因的事件 |
| 修复方式 | 人工执行，或经 API 交给自动化 |
NVIDIA 把收益定义为 AI 工厂的产出效率，用 GPU 小时和 goodput 衡量：故障间隔更长、出问题后修复更快、送到运维队列里的告警更少。这些说法目前还没有独立验证，不过 IREN 运营 AI 工厂并已采用该平台。IREN 首席技术官 Denis Skrinnikoff 表示，随着 AI 工厂扩大，为客户提供最好服务的关键是最大化 GPU 的生产力；Minerva 让运维团队在网络、GPU 和其上运行的作业之间有了统一视图，能把更多精力放在主动维护而非故障排查上。
想看看整个行业为可观测性花了多少钱，可以接着读小编的可观测性预算上涨一文。
常见问题（FAQ）
Minerva 是什么？
是 NVIDIA 发布的 AIOps 平台，把基础设施与工作负载遥测关联起来，帮助 AI 工厂保持高产出。
它主要解决什么问题？
在超大规模 GPU 集群里，定位拖慢训练作业的具体部件，并减少告警风暴。
修复是全自动的吗？
不一定。运维可以选择人工执行修复，也可以交给自动化；它还支持连接第三方智能体 AI 工具。
NVIDIA 宣称的收益可靠吗？
这些收益目前尚未被独立验证，IREN 的部署是目前公开的案例。