PCIe SLT/BLT 测试体系
芯片验证抓不到的,交给系统级测试
SLT 与 BLT 是什么
SLT(System Level Test,系统级测试)把芯片装到接近真实使用的系统环境里跑测试;BLT(Board Level Test,板级测试)针对单板做电气与基本功能的初筛。两者与仿真验证(DV)、ATE 一起构成 SoC 的测试漏斗:
DV 仿真 FPGA 原型 ATE 产测 BLT SLT
(UVM/SVA) (HAPS/自研) (晶圆/成品 CP/FT) (板级初筛) (系统级压力)
─────── ───────── ────────── ────── ──────
功能正确性 软件提前开发 制造缺陷 电源/时钟/ 真实场景缺陷:
协议/状态机 驱动联调 (短路/开路/ 连通性、 PVT corner、
覆盖率收敛 系统集成 功能失效) 基本链路训练 互操作、长时间退化
─────── ───────── ────────── ────── ──────
流片前 流片前/后 量产每颗 每块板 抽样/首批/回归
── 越往右越接近真实使用,成本越高、覆盖越少 ──→
为什么要 SLT?—— DV 仿真的三个盲区
- PVT corner:仿真只跑有限的时序角,真实硅在高温/低压/快慢角组合下的行为可能完全不同——典型如高温下均衡收敛慢、低压下眼图 margin 不足。
- 互操作性:DV 用 VIP 模拟对端,VIP 是"规范的样子";真实世界的 EP/Switch/Retimer 各有脾气(时序容差、EQ 实现、错误恢复策略)。
- 时间维度:仿真以毫秒计,烧机以小时计。信用泄漏、计数器溢出、状态机卡死这类"跑久了才坏"的 bug 只有长时间测试能抓。
PCIe 子系统的 SLT 目标可以概括为一句话:在任何允许的电源/温度/负载条件下,链路始终可用、数据始终正确、错误始终可恢复。
SLT 测试项设计(PCIe 视角)
一个 PCIe 子系统的 SLT 套件通常按下面六大类组织。每类给出设计思路与代表性测试项:
1. 枚举与复位类
验证各种复位/启动路径下设备都能被正确发现。这是最基础也最容易出回归的一类。
| 测试项 | 做法 | 关注点 |
|---|---|---|
| 冷启动循环 | 整机断电→上电→枚举→校验 BAR/能力配置一致,循环 1k+ 次 | 偶发枚举失败、训练速率抖动、总线号分配差异 |
| 热复位 / 暖复位循环 | 系统 reset(Warm)与 PCIe Hot Reset(TS1 里 Hot Reset 位)分别循环 | 复位后 PERST# 时序、CRS 重试、MSI 重初始化 |
| SBR / FLR 循环 | 循环写 Bridge Control bit6(SBR)与 DevCtl bit15(FLR) | 复位期间到达的 TLP 处理、FLR 后 CRS、状态残留 |
| Surprise Removal / 重新扫描 | echo 1 > /sys/.../remove + rescan;有条件用真实电控治具反复插拔 |
资源释放完整性、驱动 re-probe、pciehp 稳定性 |
2. 链路健壮性类
| 测试项 | 做法 | 关注点 |
|---|---|---|
| ASPM 状态循环 | 循环 setpci 改 ASPM Control(L0s/L1/L1.1/L1.2),或用内核 ASPM 策略切换脚本 |
L1.2 进出时 CLKREQ# 时序、唤醒后链路完整性、PM 子状态寄存器一致性 |
| 链路重训练压力 | 循环触发 Retrain Link(LnkCtl bit5),配合速率切换(LnkCtl2) | Recovery 后速率/宽度恢复、EQ 重跑成功率、训练期间 in-flight TLP 不丢 |
| 速率回退恢复 | 人为制造 EQ 失败(改 Target Speed/预设),验证降速后仍稳定可用 | 回退路径本身是不是干净的(不挂死、不风暴) |
| 链路降宽容忍 | (治具/寄存器手段)屏蔽部分 lane | xN 降 x1 后数据通路与中断仍正确 |
3. 数据完整性与性能类
# 数据完整性:EP 测试(Linux EP 子系统的 pcitest)+ 真实设备 fio 双管齐下
$ modprobe pci_endpoint_test # RC 侧绑定 EPF test 设备
$ pcitest -r 4096 # DMA 读校验
$ pcitest -w 4096 -l 64 # DMA 写 + 中断计数
# 真实负载:NVMe 卡上 fio 长时间读写(同时观察 AER 计数)
$ fio --name=slt --filename=/dev/nvme0n1 --rw=randrw --bs=4k \
--iodepth=64 --time_based --runtime=8h --verify=crc32c
# 吞吐达标:对照带宽计算器理论值(效率按 ~95% 折算)
$ lspci -vvv -s 65:00.0 | grep LnkSta # 确认协商速率宽度没在压力下掉档
关注三类失败:数据错(verify 失败,定位到 TLP 级重传/DMA 拼接 bug)、性能掉档(压力下链路回退或信用饥饿)、渐进退化(吞吐随时间下降,常见于内存泄漏/信用泄漏)。
4. 错误注入与恢复类
SLT 不只测"正常运行",更要证明坏了能自己爬起来。注入手段见 错误处理 的注入一节:
- 可纠正错误洪泛:
aer_inject注入 Receiver Error / Bad TLP,验证计数器增长、阈值触发的 DPC 不误触发。 - 不可纠正错误→DPC→恢复:注入 Fatal 错误,验证 DPC 拦截、链路重建、驱动
pci_error_handlers错误恢复流程走完后设备继续工作。 - 注入+负载并行:错误恢复的同时后台跑 fio,验证 in-flight I/O 的命运(重试/失败上报)符合驱动声明。
5. 电源管理类
| 测试项 | 做法 | 关注点 |
|---|---|---|
| D3cold 进入/退出循环 | runtime PM 或系统 suspend/resume 循环(S3/S4 各自独立套件) | 冷复位后上下文恢复、Firmware 重新初始化、枚举时间 |
| PME 唤醒 | 设备进 D3 后由 EP 侧触发 PME(或 WAKE#) | 唤醒链路(PMCSR/PME 相关,见电源管理页)、唤醒后中断与 DMA 就绪 |
| CLKREQ# 门控循环 | L1.2 使能下的时钟门控反复进出 | refclk 停启时序余量(对 PHY 是高压场景) |
| 空闲功耗 | 整机待机下测 PCIe 子系统电流 | L1.2 实际生效(而不是停在 L0/L1)、漏电 |
6. 互操作与拓扑类
- 设备矩阵:NVMe(多厂商)、网卡(不同 IRQ/队列规模)、GPU(大 BAR、ATS/PRI)、FPGA 卡(自定义 BAR 行为)、老旧 Gen1/2 设备——每类挑代表性卡跑核心回归。
- 拓扑扩展:外接 Switch(多级级联、不同厂商)、Retimer 板(长距场景)、x16 满配。
- 边界配置:Above 4G 开/关、ReBAR 开/关、IOMMU 开/关、ACS 策略——同一批硬件四个维度的组合抽样。
温度与电压 Corner
SLT 与普通功能测试最大的区别之一:把环境变成变量。SoC 厂的典型 corner 矩阵:
| Corner | 条件(示例) | PCIe 高风险项 |
|---|---|---|
| 高温 | 85°C / 105°C 箱体 | 均衡收敛(高温眼图闭合)、CDR 失锁、降速回退 |
| 低温 | -40°C 冷启动 | 冷启动训练(PHY 校准表边界)、首枚举失败 |
| 低压 | 核心/IO 电压 -5%~-10% | 眼图 margin、误码率上升→可纠正错误计数增长 |
| 温循 | -40↔105°C 循环中持续跑压力 | 焊点/连接器间歇接触(体现为随机 Bad TLP / 链路断) |
corner 测试的判据设计
corner 下"可纠正错误增多"本身是允许的,判据要写清楚:误码率上限(如 Bad TLP 计数/小时 ≤ N)、不允许出现不可纠正错误、不允许链路掉档超过一档、性能衰减不超过 x%。没有量化判据的 corner 测试只能算"跑过",不能算"通过"。
BLT:板级测试
BLT 在 Bring-up 之后、量产爬坡阶段对每一块板子做快速筛查,目标是把装配/器件缺陷挡在系统测试之前:
- 电气初筛:电源轨电压/纹波、上电时序(PERST# 对 refclk 的时序在量产板上抽测)、时钟频率/幅度。
- 连通性:PCIe lane 的 TDR 或边界扫描(链路训练本身就是最好的连通性测试——Detect 过 = lane 电气通)。
- 功能快测:冷启动→链路 L0→枚举→一次 DMA 校验(pcitest 或厂商自有工具),分钟级完成。
- 信号质量抽检:眼图 margin 扫描(治具引出或环回模式 + BERT),抽检比例视良率稳定度调整。
BLT 的产出直接反馈制造:眼图 margin 分布漂移往往意味着 PCB 批次/连接器供应商变化,比功能失败更早预警。
SLT 环境与自动化
硬件环境
- 测试治具/测试板:可控电源(电压 corner)、温箱接口、电控插拔机构(surprise removal 自动化)、引出关键信号(PERST#/CLKREQ#/refclk 测点)。
- 压力卡:专用 PCIe 流量发生卡(可编程 TLP 引擎,能造任意合法/非法流量与错误注入),比真实设备可控性强得多。
- 对端设备矩阵:不同厂商 EP 卡的"动物园",跑互操作子集。
软件框架
# 典型 SLT 用例骨架(Python 序列框架示意)
class AspmL1Stress(SltTestCase):
def setup(self): # 记录初始状态,失败可回滚
self.baseline = pci_dump("65:00.0")
def run(self):
for i in range(self.cycles):
setpci_aspm("65:00.0", "L1") # 进 L1
assert link_state("65:00.0") in ("L0", "L1")
setpci_aspm("65:00.0", "L0s+L1")
dma_verify("65:00.0", size=0x1000) # 每轮做数据校验
check_aer_counters("65:00.0") # CE 不超阈值、UE 为 0
def teardown(self):
restore(pci_dump("65:00.0"), self.baseline)
关键设计点:每轮循环都校验(不是只在最后检查一次,否则失败轮次无法定位)、全程收集日志(dmesg 环形缓冲 + rasdaemon 记录 AER + 每轮寄存器快照)、失败自动保留现场(devcoredump、lspci -xxx 快照、最后一个动作的描述)。SLT 一跑几小时,"半夜三点失败了但没现场"等于白跑。
良率与 Escape 闭环
SLT 不是终点,它产出的数据要回流到验证与设计:
SLT 失败 ──▶ 失效分析(FA:定位到 IP/模块/条件组合)
│ │
│ ├── 可在仿真复现 ──▶ DV 补测试用例 + coverage 模型 → regression
│ └── 无法仿真复现 ──▶ 固化为 SLT 常驻项(每次流片回归)
│
ESCAPE(逃逸:客户/现场发现的缺陷)
└── 逃逸分析:为什么 SLT 没抓到?──▶ 测试项盲区 ──▶ 补 SLT 用例
──▶ corner 没覆盖 ──▶ 扩 corner 矩阵
──▶ 抽样漏检 ──▶ 调整抽样/时长
指标:DPPM(每百万缺陷数)、各测试项通过率、escape 数趋势
延伸阅读
- 芯片验证 —— DV/CV 概念、平台与 PCIe 验证入门
- 硅后 Bring-up —— SLT 之前的第一次上电排查
- 错误处理 —— 错误注入测试的技术细节(aer_inject 等)
- 错误码速查 —— SLT 日志里 AER 错误码的快速解码