一、日志刷屏测试
1、测试目的及价值
1)日志频繁打印,会冲掉历史日志,影响可定位性
2)日志频繁打印,涉及flash的频繁读写,影响nandflash的使用寿命;日写入量超过门限会产生相关告警
2、测试步骤
第三方网关纳管情况下,比如FD纳管
1)OS上电状态下,静置10分钟;观察串口日志、/var/log下的日志文件(重点关注app.log、dmesg_info、maintenance.log),不存在日志周期性打印
2)OS下电状态下,静置10分钟;观察串口日志、/var/log下的日志文件(重点关注app.log、dmesg_info、maintenance.log),不存在日志周期性打印
3、验证场景:版本发布必测、板卡兼容性必测、建议作为通用测试观测点,需求测试中例行检查
4、验证小技巧: /var/log下日志文件较多,逐个观测较为繁琐,可以静置一段时候后,通过ls -l查询文件的更新时间,无时间变化证明期间无日志打印,有时间变化再打开进行分析
5、问题示例
二、异常告警测试(误告警/瞬态告警)
1、测试目的及价值
1)告警会导致生产停线
2)互联网客户准入测试,会检查传感器事件
3)瞬态告警会被客户网管监控到
2、测试内容
正常测试时,客户的任何正常操作(非真实故障或主动模拟场景),均不得出现告警信息或瞬态告警
1)检查当前告警,无告警
2)检查系统事件,无告警产生及消失记录
3)检查传感器事件,无告警产生及消失记录
3、验证场景
1)AC/DC/BMC重启长时间脚本中检查
2)建议作为通用测试观测点,需求测试中例行检查
注:AC/DC/BMC重启场景容易出现瞬态告警问题
4、示例
三、Coredump测试
1、测试目的及价值:进程/内核异常崩溃会产生coredump,证明功能存在潜在风险,影响不可控
2、测试内容:正常测试时,客户的任何正常操作(非刻意构造),均不得出现coredump文件(/data/var/coredump)
3、验证场景:
1)AC/DC/BMC重启长时间脚本中检查
2)建议作为通用测试观测点,需求测试中例行检查
注:AC/DC/BMC重启场景容易出现coredump问题
4、示例
四、内存泄漏测试
1、测试预置条件
1)BMC运行正常
2)所有功能服务开启(BMA运行、Syslog/SMTP/DHCP/NTP/LDAP/LDAP证书验证/ Kerberos使能/对外端口/LLDP均使能),并模拟任意一条告警持续存在
3)KVM/VNC界面打开且永不超时
4)执行反复DC操作
5)纳管(FD、FusionServer Tools)(涉及事件订阅、redfish持续访问BMC)
6)IPMI命令循环查询SEL事件/传感器(ipmitool sensor list、ipmitool sel list)
7)SNMP接口循环查询(walk all)
2、测试步骤
1)静置环境7天,在BMC CLI下发送top -d 60命令采集总内存、各APP进程占用率信息(过程数据保存好),APP进程内存占用量用RES值(不用%MEM),测完后分别绘出曲线图
2)分析总内存及各app进程占用率曲线图,查看内存增长趋势是否收敛
3)若总内存及各app进程占用率正常趋势均收敛,则pass;否则可能存在泄漏问题,需要定位
3、验证场景:版本发布必测
4、示例(如下均为基于内存占用率数据的绘制图)
五、AC/DC/BMC重启长时间观测点分享
1、CLI/redfish/web/SNMP/IPMI接口能正常登录
2、部件信息均正常显示,无丢卡、信息丢失问题;
3、系统事件无告警产生及消失
4、查看传感器列表,离散传感器状态无异常现象,门限传感器均正常获取到值(无读取不到现象),传感器id无重复现象,传感器名称无显示不全现象(存在$符号),Oemsensor传感器id从1开始叠加,编号不重复且最大值与传感器个数一致
5、/data/var/coredump/目录无coredump文件
6、ipmitool查询传感器列表正常,状态与BMC上查询一致(ipmitool sensor list、ipmitool sdr list)、传感器事件正常,无在不不在位事件反复刷屏、告警等异常事件(ipmitool sel elist)
六、Nandflash单日写入量测试
使用命令查询当日nandflash写入量,建议每日合理写入量阈值:800M
busctl --user get-property bmc.kepler.bmc_soc /bmc/kepler/Managers/1/NandFlash bmc.kepler.Managers.NandFlash WriteAmountPerDay





