Bring-up 是什么

Bring-up 指芯片回来(Tape-out 后的第一批样片,A0)后,让 PCIe 控制器在新硬件上第一次跑起来的过程。仿真里一切都是理想的:时钟干净、复位同时、时序零偏差;而真实板子上,参考时钟架构、电源时序、信号完整性、固件配置任何一环出错,链路都起不来。

Bring-up 的目标按顺序推进,每一步都有明确的"通过标志":

 上电 ──▶ 阶段0 ──▶ 阶段1 ──▶ 阶段2 ──▶ 阶段3 ──▶ 阶段4 ──▶ 交给 SLT
         链路停在?   训练卡在?   L0但速率/  枚举失败?  功能异常?
         Detect     Polling/    宽度不对              MSI/DMA/
                    Config                            性能
 通过标志:  LTSSM    交换TS1/TS2  LnkSta显示  lspci看到  fio跑出   长时间
           到Detect  进入L0      目标速率xN  Vendor ID  目标带宽  稳定运行
                                                                (小时级)
                    ──────────  硬件/链路层 ──────────  ──  软件层 ──

Bring-up 的第一原则

按阶段推进,不要跳步。链路没到 L0 就去查驱动、枚举不到就去查 MSI,都是在错误层面浪费时间。每个阶段有对应的检查手段和工具,先确认本阶段通过标志,再进下一阶段。

本文按这条主线组织:先给出上电前检查清单(大部分 Bring-up 失败在名单上),再逐阶段展开排查树。链路训练本身的机制细节见 LTSSM 状态机 与 调试技巧,本文聚焦"第一次跑起来"的场景。

上电前检查清单

经验法则:相当大比例的 Bring-up 失败在上电前就能排除。下面这份清单在按电源按钮之前逐项打勾。

硬件检查

项目 检查点 常见坑
参考时钟架构 确认 RC 与 EP 是共源时钟(Common Clock)还是各自独立时钟(SRNS/SRIS);扩频时钟(SSC)是否开启 两端时钟架构与 LnkCtl 的 Common Clock 位(bit6)设置不一致,常导致 Gen3+ 均衡不收敛
PERST# 时序 电源稳定后至少 100ms 再释放 PERST#;PERST# 释放前参考时钟至少稳定 100µs(CEM 规范要求) 复位释放早于时钟稳定,EP 的 PHY 状态机直接跑飞
CLKREQ# 确认上拉及默认电平;未启用 L1 PM 子状态时 CLKREQ# 应保持有效(低) CLKREQ# 浮空导致参考时钟被门控,链路随机断
AC 耦合电容 每条 lane 的发送端串接 AC 耦合电容:CEM 要求 176–265 nF(典型 220 nF;仅 Gen1/2 的老设计允许 75–265 nF);电容靠近发送端 电容缺失/位置错误,接收端检测(Receiver Detect)永远失败
Lane 极性与交换 走线交叉(p/n 反、lane0/lane1 交换)在协议层可自动翻转,但要确认板上确实按方案实现 极性反转由接收端识别反转的 TS1 自动纠正,但多 lane 乱序超过协议可恢复范围需要改走线
电源轨 PHY 的模拟电源(AVDD/AVSS)与 IO 电源实测电压;纹波余量 数字电源正常而模拟电源被漏配,Detect 都进不去

软件/固件检查

项目 检查点
PHY 寄存器初始化 PHY(SerDes)在链路训练前需要固件/驱动初始化:速率能力、去加重预设、端接。确认初始化序列已执行(很多 SoC 的 PHY 有独立固件)
控制器复位释放 SoC 内部对 PCIe 控制器域的复位与时钟使能(CCU/CRU 寄存器)已配置
ECAM / 配置访问窗口 设备树 reg(或 ACPI MCFG)声明的 ECAM 窗口与控制器实际 outbound 窗口一致;bus range 与窗口大小匹配(每 bus 1MB)
出窗口(outbound) MMIO 窗口(iATU region 或等效机制)已配置,能到达外接 EP 的 BAR 空间

阶段 0:链路停在 Detect

症状:LTSSM 停在 Detect.Quiet/Detect.Active 反复循环,对端完全没有响应。这是最"物理"的失败——连 TS1 都没发出来。

 停在 Detect
 ├── 1. 对端有电吗? ──── EP 侧电源实测 / EP 的 PERST# 实测电平
 ├── 2. 参考时钟到了吗? ── 示波器测 EP 侧 refclk 输入(100MHz,幅度/抖动)
 ├── 3. 发送端在检测吗? ── RC 侧 Detect.Active 是否发出接收端检测脉冲
 │       (DWC 控制器可读 debug 寄存器看 detect 结果)
 ├── 4. AC 耦合电容在吗? ─ 万用表/目检 —— 电容缺失则永远检测不到对端
 └── 5. PHY 初始化了吗? ── SoC PHY 固件加载日志 / 复位释放顺序

Detect 循环 ≠ 芯片坏了

Detect.Active 检测不到对端时,LTSSM 会在 Detect.Quiet↔Active 之间循环(Detect.Quiet 超时 12ms,整体检测超时 24ms),这是正常行为——它在等对端出现。热插拔场景下设备在下一轮检测中接入。排查重点永远是对端的"存在性":电、时钟、电容、PHY。

工具上,这个阶段主要靠示波器 + 控制器 debug 寄存器。多数商用控制器 IP(如 DesignWare)提供 LTSSM 状态 debug 寄存器(DWC 为 DBI 侧的 vendor-specific debug 寄存器,具体命名以 IP 版本为准),可在 U-Boot 下用 md 命令轮询。

阶段 1:训练卡在 Polling / Configuration

症状:TS1 已经在发(示波器/分析仪能看到码流),但进不了 Configuration 或完不成 Configuration。此时对端"存在",问题集中在信号质量与参数匹配。

卡住位置 含义 排查方向
Polling.Active 收到对端 TS1 但 bit lock / symbol lock 建不了 refclk 频率偏差(独立时钟架构下两钟相对频差预算约 600ppm,SRIS 还叠加独立 SSC;是否超出 PHY 能力);去加重设置;通道插损是否超预算
Polling.Compliance 误入 Compliance 测试模式 检查链路两端 Compliance Receive 位设置;有些板子检测引脚悬空导致误判进入
Polling.Configuration TS2 交换完成不了 两端 TS1 里的 lane 号协商不一致(多 lane 时 lane 乱序);极性反转处理
Configuration.Complete Lane-to-link 映射谈不拢 大幅降宽度训练(x8 板子只训练出 x1):确认所有 lane 的连接与极性;部分 lane 检测失败会自动降宽

这个阶段的利器:协议分析仪的中线抓取

Gen1/Gen2(2.5/5GT/s,NRZ)码流可以用分析仪直接抓 TS1/TS2 内容——里面带着对端广告的速率能力、lane 号、去加重。把两端 TS1 并排一比,"谁在等谁、谁不支持谁"一目了然。Gen3+ 速率下训练初期仍从 2.5GT/s 开始协商,初始 TS 依然可见。

阶段 2:L0 但速率 / 宽度不对

症状:链路到 L0,设备能枚举,但 lspci 显示 LnkSta: Speed 2.5GT/s, Width x1,而设计是 Gen4 x4。这是 Bring-up 中最常见的一类问题。

# 第一步永远是看实际协商结果 vs 能力
$ lspci -vvv -s 65:00.0 | grep -E "LnkCap|LnkSta"
        LnkCap:  Port #0, Speed 16GT/s, Width x4, ...   # 能力:Gen4 x4
        LnkSta:  Speed 8GT/s, Width x4, ...              # 实际:只到 Gen3
# 看 EQ 结果(Link Status 2, PCIe Cap +0x32)
#   Eq Completion / Phase 1/2/3 Success 位
$ setpci -s 65:00.0 CAP_EXP+0x32.w
现象 常见根因 处理
永远停在 2.5GT/s Target Link Speed(LnkCtl2, Cap+0x30)没写;或数据速率能力 advertisement 错 确认固件/驱动设置了 Target Link Speed;触发 Retrain(LnkCtl bit5)观察 Recovery
Gen4/Gen5 训练失败回退 Gen1/Gen3 均衡(EQ)Phase 1-3 没收敛:preset 不合适、通道插损超 PHY 补偿能力、Common Clock 位与实际架构不符 读 LnkSta2 的 EQ Success 位;用分析仪抓 EQ 阶段 preset 请求序列;先固定 preset 实验(见 均衡调试)
宽度降级(x4→x1) 个别 lane 信号不通(虚焊、电容、lane 映射错) TDR/连通性测量;看 Configuration 阶段哪些 lane 收到 TS1
速率正常但随机掉链路回 Recovery SSC 与架构不匹配(SRIS 配了共同时钟);CDR 失锁;电源纹波 示波器测时钟频偏与抖动;检查 LnkCtl Common Clock 配置

参考时钟架构速记

  • Common Clock:两端同源,相对频差≈0,EQ 补偿需求最小。LnkCtl CCC 位应置 1。
  • SRNS(Separate Refclk, No Spread):独立时钟、无扩频。CCC=0。
  • SRIS(Separate Refclk, Independent Spread):独立时钟且各自扩频(30-33kHz 三角波),CDR 需容忍约 5600ppm 的总频差预算。CCC=0。
  • CCC 位与实际架构不符是Gen3+ 高速率训练失败的经典根因——协议两端按不同假设做均衡,通常难以收敛。

阶段 3:链路正常但枚举失败

症状:LTSSM 稳定在 L0,但 lspci 看不到设备,或读出的 Vendor ID 是 0xffff(全 F)。问题从物理层转移到配置访问通路。

 读到全 F (0xFFFF) —— 分层定位(从最底层开始)
 ① ECAM 窗口本身通吗?
    devmem 直接读 ECAM 基址:ECAM基址 + (bus<<20|dev<<15|fn<<12) + 0x00
    读出 0xFFFF → 窗口/总线号问题(设备树 reg、iATU cfg 窗口、bus range 越界)
 ② 设备号对吗?
    for dev in 0..31: devmem 读 vendor id —— 只有一个 dev 有值
    (RC 的下游端口通常只接 dev 0;接 Switch 时才有多设备)
 ③ Type0/Type1 混用?
    读 header type(offset 0x0E, bit7):bridge=Type1,EP=Type0
    ECAM 对 Type1 的 subordinate bus 才会继续转发 —— 总线号没分配时
    下级设备全部读不到
 ④ CRS(Configuration Retry Status)?
    设备刚复位还在初始化,返回 CRS(特殊 Completion 状态)
    内核使能 CRS SV 后会自动重试;裸读多表现为全 F(具体表现依 RC 实现而异)
# 无 OS 阶段最直接的手段:把 ECAM 窗口当内存读(前提:窗口已在 iATU/直通映射)
# 例:ECAM 基址 0x40000000,读 bus0/dev0/fn0 的 Vendor ID
$ devmem 0x40000000 16        # 期望读到 EP 的真实 Vendor ID,0xFFFF = 不通
# 扫一遍设备号
$ for d in $(seq 0 31); do printf "dev%d: " $d; \
    devmem $((0x40000000 + d*0x8000)) 16; done
# U-Boot 下等价操作
=> pci enum
=> pci long          # 列出枚举到的设备与 BAR
=> pci header 0.0    # 看单个设备配置头

枚举出设备后若 BAR 分配失败(lspci 显示 BAR 后面全是 <ignored> 或内核日志 not claimed / BAR %d: no space),检查:bridge 窗口(Memory Base/Limit)是否覆盖 EP 的 BAR 需求、64-bit prefetchable BAR 是否被塞进 non-prefetchable 窗口、窗口总大小是否足够。详见 RC 驱动:枚举流程深挖。

阶段 4:枚举通过但功能异常

设备能看到了,剩下的是"好不好用"。三类高频问题:

症状 定位 常见根因
MSI/MSI-X 中断收不到 cat /proc/interrupts 计数不涨;EP 侧确认 MSI 发送(MSI Capability 使能 + 目标地址写) MSI 目标地址写到了错误 CPU 的 LAPIC;中断重映射(IOMMU/IRTE)没配;EP 固件没使能 MSI
DMA 数据错 / 不动 EP 视角看发起的 TLP 是否到达(分析仪);RC 视角看 IOMMU 日志 设备树 dma-ranges 与实际地址翻译不符;SMMU/IOMMU 未放行(ATS/SVA 场景);cache 一致性配置(非一致 SoC 需显式 sync)
带宽远低于理论值 fio/dd 测吞吐;对照 带宽计算器的效率上限 MPS/MRRS 太小;EP 是 x1 低速设备本身上限如此;信用深度浅导致反压;参考 性能调优

Bring-up 工具箱

按"没有 OS → 有 U-Boot → 有内核"三个阶段,可用工具依次丰富:

阶段 工具 典型用途
裸机 / 引导早期 devmem / JTAG 读写 直接读写 ECAM 窗口与控制器 DBI 寄存器,验证配置通路
示波器 / 频率计 refclk 幅度频率、PERST# 时序、检测脉冲
LTSSM debug 寄存器 轮询控制器 vendor-specific 寄存器看状态机停在哪个状态
U-Boot pci enum / long / header 不依赖内核的枚举与配置空间检查(NVMe 启动盘联调的第一步)
md/mw 任意物理地址读写(ECAM、DBI、iATU 寄存器)
Linux lspci -vvv / setpci 完整配置空间与能力结构检查、位域修改实验
/sys/bus/pci/devices/... resource(BAR)、remove/rescan(热模拟)、reset
pcieport / dmesg AER 报告、枚举日志、链路事件

工具页的 配置空间解析器支持直接粘贴 lspci -xxx 输出生成 4KB 布局图,Bring-up 期间把可疑设备的 dump 贴进去比对 Capability 链,比肉眼快得多。

三个典型首吹案例

案例 1:A0 板上电,LTSSM 循环在 Detect

现象:示波器在 EP 侧测不到任何输入码流;RC 侧 Detect.Active 检测不到对端。

定位:逐项过"存在性"——EP 电源正常、AC 耦合电容在板,最后测 EP 参考时钟输入引脚:无时钟。追 SoC 侧发现 refclk 输出使能寄存器在新的时钟控制器版本里换了地址,bring-up 固件还在写旧地址。

修复:更新固件寄存器偏移;时钟到位后 Detect 立即通过。教训:Detect 层面的失败,绝大多数是电/时钟/电容这类"存在性"问题,先动示波器再动协议。

案例 2:Gen4 板卡只跑出 Gen1

现象:链路 L0、枚举正常,LnkSta: Speed 2.5GT/s;强制 Target Link Speed=Gen4 后链路反复进 Recovery,最终回退。

定位:LnkSta2 显示 EQ Phase 2/3 不成功。分析仪抓 Recovery.Equalization:RC 请求的 preset 序列 EP 响应正确,但双方 TS 里 Common Clock 位一个置 1 一个置 0——硬件是共源时钟,EP 固件却按 SRIS 初始化。两端均衡假设不同,永远收敛不了。

修复:EP 侧固件改按 Common Clock 广告;重训后 Gen4 稳定。教训:CCC 位必须与真实架构一致,这颗"软件位"其实是硬件架构的声明。

案例 3:链路正常,lspci 全 F

现象:LTSSM 稳定 L0(分析仪能看到配置读 TLP 进入 RC),但 lspci 只有 RC 自己的桥,下游设备 Vendor ID 全 F。

定位:用 devmem 直读 ECAM 基址+offset——bus 0 通,bus 1 全 F。检查发现设备树 bus-range 写了 <0x0 0xff> 但 ECAM 出窗口(iATU region)只映射了 16MB(16 条总线),且 secondary bus 号没在窗口覆盖范围。配置 TLP 根本没有通路到达 bus 1。

修复:iATU cfg 窗口扩到 256MB 或收窄 bus-range 到实际需求;同时修正 Type1 桥的 Primary/Secondary/Subordinate Bus 号初始化。教训:全 F 的本质是"通路不通",用 devmem 逐 bus 探测能把问题钉死在哪一层。

Bring-up 之后:交给谁

Bring-up 的终点是"功能演示级"稳定——能枚举、能跑通数据通路、性能达标。接下来的压力与回归验证交给下游环节:

  • 验证团队(DV):bring-up 暴露的每个 bug 通常都要复盘"为什么仿真没抓到"——能复现于仿真的补测试用例与 coverage,不能复现的(SI/电源/时序类)记录为仿真盲区,转 SLT 长期监控。
  • SLT/BLT:Bring-up 只跑短时间,系统性压力(重启循环、ASPM 循环、温度 corner、长时间烤机)在 SLT/BLT 测试体系展开。

延伸阅读

理解检测
1. Bring-up 时 LTSSM 在 Detect.Quiet 与 Detect.Active 之间无限循环,首先应该检查什么?
Detect 循环说明发送端检测不到接收端存在,问题在最物理的层面:对端没电、refclk 没到、耦合电容缺失等。MSI、Target Link Speed 都是链路建立之后的事。
2. 链路能到 L0,但 Gen4 板卡只协商出 2.5GT/s,且 LnkSta2 显示 EQ Phase 2/3 失败。以下哪项是最值得优先核对的?
CCC 位声明了链路两端的时钟架构假设,直接影响均衡的目标与补偿策略。共源时钟却按独立时钟(或反之)做均衡,Gen3+ 高速率基本无法收敛,表现为 EQ 失败回退低速率。
3. 链路已在 L0,但 lspci 读下游设备 Vendor ID 返回 0xFFFF。用 devmem 直读 ECAM 基址发现 bus 0 正常、bus 1 全 F,最可能的问题是?
bus 0 通而 bus 1 全 F,说明配置访问通路只覆盖了第一条总线:ECAM 窗口大小(每总线 1MB)、设备树 bus-range、Type1 桥的 Secondary/Subordinate 总线号三者不一致,是 Bring-up 高频问题。链路本身已经 L0,与均衡无关。