问题描述: 920B多台环境多次短暂出现9560-8i RAID卡告警与BMC通信丢失
环境信息
-
软件版本:OpenUBMC2503
-
io1 - BC83PRUR + SP680 * 2
-
io2 - BC83PRUR + SP680 * 1
-
io3 - BC83PRUGF + 9560-8i RAID
-
Riser-MCU版本1.36.00
重现步骤
环境长时间静置
期望结果
无异常告警
实际结果
不定期出现RAID卡通讯丢失告警,持续数分钟,每次持续时长不定
运行日志有Chip_RaidChip插件调用超时,sml访问超时,网卡Hi1822芯片访问超时打印
hw_stream.log有大量hisport访问超时打印
尝试过的解决方案
-
现网同配置环境复现,RAID卡通信异常告警未出现,RAID Chip 访问request timeout,SML库xx, Hi1822_0101010302 read request is timeout and would not process
-
分别升级2512LTS版本BMC, 现象同1
-
单独升级1.49.00 Riser MCU,现象同1
-
模拟卸载SP680, 压力测试访问RAID Chip 和Riser MCU, 还是有访问request timeout,频率较现象1 下降
-
基于2512LTS 修改pd ld init 3个任务优先级修改为high, 压力测试访问RAID Chip 和Riser MCU,RAID Chip 访问request timeout,频率大幅下降
分析结论
怀疑:怀疑bmc底层hisport i2C和硬件CPLD 性能问题
疑惑点: SP680 + RAID卡为常规配置,什么任务导致了 BMC通信队列堵塞