社区版本25.03 920B多台环境多次短暂出现9560-8i RAID卡告警与BMC通信丢失

问题描述: 920B多台环境多次短暂出现9560-8i RAID卡告警与BMC通信丢失

环境信息

  • 软件版本:OpenUBMC2503

  • io1 - BC83PRUR + SP680 * 2

  • io2 - BC83PRUR + SP680 * 1

  • io3 - BC83PRUGF + 9560-8i RAID

  • Riser-MCU版本1.36.00

重现步骤

环境长时间静置

期望结果

无异常告警

实际结果

不定期出现RAID卡通讯丢失告警,持续数分钟,每次持续时长不定

运行日志有Chip_RaidChip插件调用超时,sml访问超时,网卡Hi1822芯片访问超时打印

hw_stream.log有大量hisport访问超时打印

尝试过的解决方案

  1. 现网同配置环境复现,RAID卡通信异常告警未出现,RAID Chip 访问request timeout,SML库xx, Hi1822_0101010302 read request is timeout and would not process

  2. 分别升级2512LTS版本BMC, 现象同1

  3. 单独升级1.49.00 Riser MCU,现象同1

  4. 模拟卸载SP680, 压力测试访问RAID Chip 和Riser MCU, 还是有访问request timeout,频率较现象1 下降

  5. 基于2512LTS 修改pd ld init 3个任务优先级修改为high, 压力测试访问RAID Chip 和Riser MCU,RAID Chip 访问request timeout,频率大幅下降

分析结论

怀疑:怀疑bmc底层hisport i2C和硬件CPLD 性能问题

疑惑点: SP680 + RAID卡为常规配置,什么任务导致了 BMC通信队列堵塞

1778056208495_dump.txt (8.7 MB)

问题日志见附件,修改后缀txt为tar.gz

2503版本太久了吧 优化过多次博通raid卡的超时问题