为什么 PCIe 需要自己的安全机制

传统 PCIe 的威胁模型假设"插在主板上的设备是可信的"。服务器、云与机密计算场景下这个假设不再成立:

  • 物理接触攻击:攻击者在链路中间夹一个 interposer,就能被动嗅探或主动篡改 TLP——数据在内存里加密了,在链路上却是明文。
  • 恶意/被替换的设备:固件被篡改的网卡、加速卡可以发起 DMA 攻击。
  • 供应链与合规:需要证明"这块卡的固件确实是厂商签名的那一版"(度量/证明)。

PCI-SIG 的对策分成三条互补的主线:

能力 解决的问题 机制 本文
IDE(Integrity and Data Encryption) 链路上的数据机密性与完整性 AES-GCM 对 TLP 做链路级或流级加密与完整性校验 ✔ 有
SPDM + CMA(Security Protocol and Data Model / Component Measurement and Authentication) 设备身份认证、固件度量与证明 证书链 + 挑战应答 + 度量报告,跑在 DOE 上 ✔ 有
ACS + IOMMU 设备之间的越权访问、DMA 重映射 访问控制与地址翻译 见 Switch (ACS) 与 虚拟化 (IOMMU)

三者不可互相替代

IDE 防"链路被窃听/篡改",SPDM 防"设备身份造假",IOMMU 防"设备访问不该访问的内存"。攻击者可以直接在链路中继注入,也可能伪造设备固件,或利用合法设备做越权 DMA——三条防线各管一段。做安全方案时必须明确威胁模型,避免"上了 IDE 就安全了"的误解。

这三者都建立在同一个基础设施上:DOE(Data Object Exchange)——一条在配置空间里传递结构化数据的标准通道。理解 DOE 是理解 SPDM/IDE 密钥管理的前提。

DOE:配置空间里的标准邮箱

在 DOE 出现之前,厂商想通过配置空间和设备做"命令级"交互,只能用厂商自定义的扩展能力(VSEC),每家协议不同、无法互操作。DOE 定义了一种通用的、带握手的邮箱机制:双方按"数据对象(Data Object)"格式交换任意结构化内容,具体语义由上层协议(SPDM、IDE_KM、CDAT 等)定义。

DOE 是一个 PCIe 扩展能力,Capability ID 为 0x002E。核心寄存器(偏移以扩展能力头为基准):

寄存器 偏移 作用
DOE Capabilities 0x04 声明支持能力:中断、读数据对象、写数据对象
DOE Control 0x08 发起交换(Go)、中止(Abort)、中断使能
DOE Status 0x0C Busy / Error / Data Object Ready,生产者轮询或等待中断
DOE Write Data Mailbox 0x10 写入 1 DW:发起方把数据对象分批写入
DOE Read Data Mailbox 0x14 读出 1 DW:接收方从邮箱取数据对象

位定义以 Linux include/uapi/linux/pci_regs.h 的 PCI_DOE_* 为准;不同规范版本可能增加字段,编程前应核对设备实际实现的版本。

一次 DOE 交换的流程

 发起方(Requester)                          响应方(Responder / 设备)
 ───────────────────                          ─────────────────────
 1. 写数据对象头(2 DW)到 Write Mailbox
    └─ 头里含 Vendor ID + Data Object Type
 2. 置 Control.Go = 1
                                              3. 见 Go,读取邮箱内容
                                              4. 处理请求(可能耗时)
 5. 轮询/等待 Status.DataObjectReady            5. 置 DataObjectReady
 6. 从 Read Mailbox 读数据对象(按 DW 读)  ←──
 7. 若对象还有后续:继续写/读,重复握手
 8. 出错时置 Control.Abort 中止交换

 数据对象格式:2 DW Header + N DW Payload(总长必须 4 字节对齐)
 上层协议靠头里的 (Vendor ID, Data Object Type) 路由
   └─ 例:SPDM 报文使用 PCI-SIG 的 Vendor ID + 对应类型

工程实现要点:一次邮箱只承载一个数据对象,长报文要拆成多个对象按协议规定的顺序交换;轮询必须是带超时的(设备可能卡死);中断模式可减少 CPU 轮询开销,但要求设备声明支持。Linux 中 DOE 由 drivers/pci/doe.c 提供邮箱抽象(依赖 CONFIG_PCI_DOE),内核消费者通过辅助设备(auxiliary device)提交任务——CXL 读取 CDAT 就是这么走的。

看设备支持哪些 DOE 上层协议

lspci -vvv 会列出 "Data Object Exchange" 扩展能力及其支持位;具体支持 SPDM/IDE_KM/CDAT 中的哪些,需要通过 DOE 发送 GET_VERSION/能力查询来判断,不能只看能力位。用 setpci 直接操作 DOE 邮箱非常笨拙(需要精确的轮询时序),实际调试建议用 libspdm 的 requester 示例或 spdm-utils。

SPDM:设备身份认证与度量

SPDM 由 DMTF 定义,是一套与传输介质无关的安全协议(可跑在 DOE、MCTP over SMBus、TCP 等之上)。在 PCIe 场景中,它配合 PCI-SIG 的 CMA(Component Measurement and Authentication)ECN 使用,解决三个问题:

  1. 身份:对端是不是它声称的那块设备?(证书链验证)
  2. 完整性:它的固件/配置有没有被篡改?(度量与签名报告)
  3. 会话:后续通信能否建立加密通道?(密钥交换)

典型消息序列

 主机(Requester)                                设备(Responder)
 ───────────────                                  ────────────────
 GET_VERSION ─────────────────────────────────▶
                ◀───────────────────────────── VERSION(支持的版本列表)
 GET_CAPABILITIES ────────────────────────────▶
                ◀───────────────────────────── CAPABILITIES(能力与标志)
 NEGOTIATE_ALGORITHMS ────────────────────────▶
                ◀───────────────────────────── ALGORITHMS(选定算法套件)
 GET_DIGESTS ─────────────────────────────────▶
                ◀───────────────────────────── DIGESTS(证书链摘要)
 GET_CERTIFICATE(逐段) ─────────────────────▶
                ◀───────────────────────────── CERTIFICATE(证书链分片)
 CHALLENGE(随机数) ─────────────────────────▶
                ◀───────────────────────────── CHALLENGE_AUTH(私钥签名,证明持有证书)
 GET_MEASUREMENTS ────────────────────────────▶
                ◀───────────────────────────── MEASUREMENTS(固件度量 + 签名)
 ── 可选:KEY_EXCHANGE / FINISH 建立加密会话 ──

关键思想:认证不是"读一个 ID",而是让对方用私钥对一段包含随机数(nonce)的内容签名——这样重放历史响应无效。度量值(measurement)则是固件镜像的哈希,由设备对"度量摘要 + nonce"签名,主机可用厂商公钥验证。

概念 常见误解 正确理解
证书链 设备里有证书就说明它可信 必须验证到受信任的根;自签证书只证明"设备有私钥",不证明身份属性
度量值 度量值匹配就等于固件安全 度量只保证"与参考值一致";参考值(golden measurement)的来源与更新机制才是信任根的延伸
算法协商 总是用最强算法 双方按各自能力取交集;过期设备可能只支持弱算法,此时策略上应拒绝而非降级接受

安全能力的"信任起点"问题

SPDM 能证明设备持有某私钥、固件哈希为某值,但它不能证明"该公钥属于我信任的厂商"——这依赖平台策略(预置根证书、设备清单)。同理,IDE 的密钥分发本身也依赖一个已经受信任的通道(通常就是 SPDM 会话)。安全链条的强度取决于最弱的一环,而不是协议能力列表有多长。

IDE:链路级加密

IDE(Integrity and Data Encryption)对链路传输的数据提供机密性与完整性保护。它以 AES-GCM 为核心,在发送侧加密、接收侧解密并校验,链路上的中间人既读不懂也改不了。

IDE 是扩展能力,Capability ID 为 0x0030。两种部署模式:

模式 保护范围 典型场景
Link IDE 整条链路的所有 TLP,逐跳加密 两个端口直连(RC↔EP、Switch↔EP),防止链路探针
Selective IDE 按 stream 选择流量,可跨多个链路做端到端保护 通过 Switch 的特定业务流(如某租户/某 VM 的存储流量)

为什么需要 Selective?Link IDE 是逐跳的:Switch 上一跳解密、下一跳重新加密,Switch 内部是明文。若要求端到端(例如多租户隔离、跨 Switch 的机密数据),就用 Selective IDE 按流标识选择加密的对象,使同一流在各跳使用一致的密钥与保护域。

密钥管理:IDE_KM

IDE 的密钥不能硬编码,必须动态分发与轮换。PCI-SIG 定义了 IDE_KM(Key Management)协议,同样跑在 DOE 上,用于建立/更新/销毁 IDE 流的密钥与 IV。完整链路通常是:

 ① SPDM 认证设备身份、建立安全会话(信任根)
        │
        ▼
 ② 通过 IDE_KM(over DOE)分发 IDE 密钥与 IV
        │
        ▼
 ③ 双方在指定流/链路上启用 IDE
        │
        ▼
 ④ 按策略轮换密钥(Key Update);失败时可回退/告警

注意第 ① 步不可省:如果密钥是通过一条未认证的 DOE 通道发给对方,攻击者可以中间人替换。因此在完整方案里,SPDM 是 IDE 的前置条件。

IDE 与 IOMMU 的分工

IDE 保护的是"数据在链路上"的机密性,攻击者插探针也看不到明文;它不阻止一个已经被信任的设备发起越权 DMA——那是 IOMMU/SMMU 的职责。反过来,IOMMU 也不保护链路嗅探。机密计算方案通常两者都要。

验证与调试要点

安全功能的特点是"错一点等于没做"——密钥错一个 bit、nonce 重用一次、签名校验被跳过,安全性都会归零。因此验证重点与普通功能不同:

验证目标 方法 典型缺陷
DOE 邮箱协议正确性 非法序列(未置 Go 就读、长度不对齐、越界对象)、Abort 后能否恢复、超时处理 邮箱状态机卡死;Abort 后残留状态导致下一次交换错乱
SPDM 消息健壮性 畸形证书链、错误签名、nonce 重放、算法协商降级、超大分片 跳过证书验证;接受重放的 CHALLENGE_AUTH;不对分片做长度检查
IDE 加解密正确性 密钥/IV 交叉验证(发收一致)、乱序与重传、链路重训后密钥状态、轮换期间不丢包 nonce 重用(严重漏洞);重传包被重复加密导致解密失败
复位与错误恢复 FLR/热复位/链路重训后安全状态是否按规范清理或重建 复位后仍用旧密钥;密钥清除不彻底

调试时可用 lspci -vvv 确认 DOE/IDE 扩展能力是否存在、状态寄存器是否报错;性能上,IDE 会增加每包的处理延迟与带宽开销(AES-GCM 引擎吞吐必须匹配链路速率),在 Gen5/Gen6 下这项开销需要在架构阶段就评估。

延伸阅读

理解检测
1. 关于 DOE(Data Object Exchange)的作用,以下描述最准确的是?
DOE 只负责"把结构化数据对象可靠地送过去"这件事,本身不做加密、不做认证。SPDM、IDE_KM、CDAT 等都是跑在 DOE 之上的上层协议,靠数据对象头里的 Vendor ID + Data Object Type 区分。
2. Link IDE 与 Selective IDE 的核心区别是?
Link IDE 对整条链路的所有流量加密,在 Switch 处需要解密再加密,因此 Switch 内部是明文、保护范围是单跳。Selective IDE 按 stream 标识选择保护对象,可以让同一业务流在多跳路径上保持端到端保护。
3. 为什么说"部署了 IDE 就不需要 IOMMU"是错误的?
IDE 解决的是"链路上被窃听/篡改",数据从设备到主机之间是加密的;但一个合法且通过认证的设备仍然可以请求访问它不该访问的内存。防止这种越权访问依赖 IOMMU/SMMU 的地址翻译与权限检查,两者威胁模型不同,必须互补。