PCIe Switch工作原理

什么是PCIe Switch？

PCIe Switch（交换器）是一种多端口的PCIe设备，用于扩展PCIe拓扑结构。它有一个上游端口（Upstream Port）连接Root Complex或其他Switch，以及多个下游端口（Downstream Port）连接Endpoint设备或下游Switch。

Switch架构

内部结构

PCIe Switch内部包含：

• 上游端口（Upstream Port）：Type 1配置头，连接RC或上级Switch
• 下游端口（Downstream Port）：多个Type 1配置头，连接设备或下级Switch
• 内部交换逻辑：负责TLP路由和转发
• 仲裁器：管理多个端口间的流量仲裁

路由机制

Switch的核心功能是路由（Routing）——根据TLP中的地址或ID信息，将数据包转发到正确的端口。

地址路由（Address Routing）

用于Memory和I/O事务，Switch根据TLP中的目标地址决定转发端口。

ID路由（ID Routing）

用于配置事务，Switch根据Bus/Device/Function号路由TLP。

隐式路由（Implicit Routing）

用于消息事务（如中断、电源管理），不需要地址信息，Switch根据消息类型决定处理方式。

Switch的配置空间

Switch的每个端口都有独立的Type 1配置空间，包含总线号配置和路由信息。

关键寄存器

总线号分配示例

RC (Bus 0)
  └── Switch Upstream Port (Bus 0, Dev 0)
        ├── Downstream Port 0 (Bus 1) → GPU (Bus 1, Dev 0)
        ├── Downstream Port 1 (Bus 2) → NVMe (Bus 2, Dev 0)
        └── Downstream Port 2 (Bus 3) → NIC (Bus 3, Dev 0)
                    

典型应用场景

1. 服务器扩展

服务器主板通常只有有限的PCIe插槽，通过Switch可以扩展连接更多设备：

• 连接多个GPU用于AI训练/推理
• 连接多个NVMe SSD构建高速存储
• 连接多个高速网卡（25G/100G）

2. GPU服务器架构

3. 存储服务器

全闪存存储服务器使用Switch连接大量NVMe SSD：

• 单个Switch可支持24-32个NVMe设备
• 多级级联支持更多设备
• 支持热插拔，便于维护

4. 嵌入式系统

SoC的PCIe端口有限，使用Switch扩展：

• 工业控制计算机
• 网络设备（路由器、交换机）
• 边缘计算设备

Switch高级特性

现代PCIe Switch支持多种高级特性，用于增强系统安全性、扩展性和虚拟化能力。

ACS (Access Control Services)

ACS是PCIe的一项重要安全特性，用于控制Switch内部的路由行为，防止恶意设备访问其他设备的资源。

ARI (Alternative Routing-ID Interpretation)

ARI扩展了PCIe设备的Function编号范围，从传统的3位（最多8个Function）扩展到8位（最多256个Function）。

MR-IOV (Multi-Root I/O Virtualization)

MR-IOV允许一个PCIe设备同时连接到多个Root Complex，实现多主机共享I/O设备。

路由表生成原理

Switch根据配置空间中的Base/Limit寄存器生成分路由表，决定TLP的转发端口。

// 简化的路由决策逻辑
int route_packet(uint32_t addr, SwitchPort* ports, int num_ports) {
    for (int i = 0; i < num_ports; i++) {
        // 检查Memory空间范围
        if (addr >= ports[i].mem_base && addr <= ports[i].mem_limit) {
            return i;  // 转发到对应端口
        }
        // 检查Prefetchable Memory范围
        if (addr >= ports[i].prefetch_base && addr <= ports[i].prefetch_limit) {
            return i;
        }
        // 检查I/O空间范围
        if (addr >= ports[i].io_base && addr <= ports[i].io_limit) {
            return i;
        }
    }
    return UPSTREAM_PORT;  // 转发到上游端口
}
                        

常见PCIe Switch芯片

使用Switch的注意事项