PCIe 错误处理流程

错误处理概述

PCIe提供了完善的错误检测、报告和恢复机制，确保数据传输的可靠性。AER（Advanced Error Reporting，高级错误报告）是PCIe错误处理的核心功能，提供了比基础错误报告更详细的错误信息。

错误类型分类

PCIe将错误分为两大类：可纠正错误（Correctable Errors）和不可纠正错误（Uncorrectable Errors）。

可纠正错误

可纠正错误是硬件可以自动恢复的错误，不需要软件干预。这类错误通常由链路噪声引起，通过重传机制解决。

不可纠正错误

不可纠正错误是硬件无法自动恢复的错误，需要软件介入处理。这类错误又分为非致命（Non-Fatal）和致命（Fatal）两种。

非致命错误

致命错误

AER（高级错误报告）机制

AER能力结构

AER通过扩展配置空间提供详细的错误报告功能，主要包括以下寄存器组：

错误报告流程

错误恢复流程

可纠正错误恢复

可纠正错误由硬件自动恢复，软件只需要记录和监控。

// 可纠正错误处理伪代码
void handle_correctable_error(struct pci_dev *pdev) {
    u32 status = read_aer_status(pdev);
    
    // 记录错误统计
    if (status & RECEIVER_ERROR)
        pdev->err_stats.receiver_err++;
    if (status & BAD_TLP)
        pdev->err_stats.bad_tlp++;
    
    // 清除错误状态
    write_aer_status(pdev, status);
    
    // 如果错误频率过高，记录警告
    if (pdev->err_stats.receiver_err > THRESHOLD) {
        log_warning("High error rate on %s", pdev->name);
    }
}
                        

非致命错误恢复

非致命错误需要软件介入，但通常不需要复位链路。

// 非致命错误处理伪代码
void handle_nonfatal_error(struct pci_dev *pdev) {
    u32 status = read_aer_uncorr_status(pdev);
    
    if (status & COMPLETION_TIMEOUT) {
        // 完成超时，需要重试事务
        retry_transaction(pdev);
    }
    
    if (status & UNSUPPORTED_REQUEST) {
        // 不支持的请求，记录并通知上层
        log_error("Unsupported request from %s", pdev->name);
        notify_upper_layer(pdev);
    }
    
    if (status & POISONED_TLP) {
        // 数据损坏，需要重新获取数据
        handle_poisoned_data(pdev);
    }
    
    // 清除错误状态
    write_aer_uncorr_status(pdev, status);
}
                        

致命错误恢复

致命错误需要链路复位，可能导致数据丢失。

// 致命错误处理伪代码
void handle_fatal_error(struct pci_dev *pdev) {
    u32 status = read_aer_uncorr_status(pdev);
    
    if (status & (SURPRISE_DOWN | DATA_LINK_PROTOCOL)) {
        // 禁用设备
        pci_disable_device(pdev);
        
        // 尝试链路重训练
        if (pci_link_retrain(pdev) == 0) {
            // 重训练成功，重新初始化
            pci_reinit_device(pdev);
        } else {
            // 重训练失败，标记设备离线
            pdev->state = DEVICE_OFFLINE;
            notify_system_admin(pdev);
        }
    }
    
    // 清除错误状态
    write_aer_uncorr_status(pdev, status);
}
                        

Linux AER驱动

Linux内核提供了AER驱动（aerdrv），自动处理PCIe错误。

# 查看AER错误计数
$ lspci -vvv -s 00:01.0 | grep -A 20 "Advanced Error Reporting"

# 查看系统日志中的PCIe错误
$ dmesg | grep -i "pci.*error"

# 启用/禁用AER
$ echo 1 > /sys/bus/pci/devices/0000:00:01.0/aer/enable

# 查看AER统计
$ cat /sys/bus/pci/devices/0000:00:01.0/aer/count
                        

错误注入测试

错误注入是验证系统错误处理能力的重要手段。PCIe提供了多种错误注入方法。

软件错误注入

通过写AER寄存器模拟错误。

// 注入可纠正错误
void inject_correctable_error(struct pci_dev *pdev, u32 error_type) {
    // 设置错误注入寄存器
    pci_write_config_dword(pdev, AER_INJECT_CORR, error_type);
    
    // 触发错误
    pci_write_config_dword(pdev, AER_INJECT_CONTROL, INJECT_ENABLE);
}

// 注入不可纠正错误
void inject_uncorrectable_error(struct pci_dev *pdev, u32 error_type) {
    pci_write_config_dword(pdev, AER_INJECT_UNCORR, error_type);
    pci_write_config_dword(pdev, AER_INJECT_CONTROL, INJECT_ENABLE);
}
                    

硬件错误注入工具

测试用例设计

错误处理最佳实践

总结

PCIe错误处理机制是系统可靠性的重要保障。通过AER提供的详细错误信息，结合合理的错误分类和恢复策略，可以构建高可用性的PCIe系统。

参考资源

• PCI-SIG官方规范 - AER规范
• Linux AER驱动文档
• PCIe配置空间详解