安装ibma 2.0后系统每10s报错一次

交流互助区
1

问题描述

kunpen920s 安装ibma服务后 edma告警 并伴随sas控制器异常

疑惑的是这个ibma安装在920l上面就没有问题

请问是什么原因导致的告警，怎么能够解决，看获取ibma的地方也没有说需要区分模组型号

企业微信截图_17803675325529
企业微信截图_178036753255291177×503 55.8 KB

环境信息

  • 操作系统：openeuler 22.03 sp4

  • 软件版本：ibma2.0

  • 硬件配置：kunpen920s

重现步骤

  1. [第一步]

  2. [第二步]

  3. [第三步]

期望结果

实际结果

[实际发生了什么，包含错误信息]

尝试过的解决方案

[列出您已经尝试过的解决方案及结果]

分析结论

[详细总结您对此问题的分析结论]

2

1、首先解释一下，这个不是10s报错一次，这个报错的含义是BMA通过字符设备给BMC发送ipmi命令，BMC未能响应，这个“no response in 10s”是在10s内未收到响应的意思

2、麻烦收集下BMA的日志用于分析，如果离当时有报错的时间太久，方便的话重跑复现一下再收日志

收集BMA日志的方法：

cd /opt/huawei/ibma（/opt/huawei路径不存在的情况下，使用/opt/ibma） OS后台进入到iBMA目录下
tar -zcf ibma_log.tar.gz log/ config/
拿到 ibma_log.tar.gz 压缩包，即为iBMA日志及配置信息

3

你好

  1. 我说的10s告警指的不是 `no response in 10s` 这个打印 而是安装ibma后导致的sas控制的10s告警一次 sas: — Exit sas_scsi_recover_host: busy: 0 failed: 1 tries: 1 z这种报错
  2. 复现了问题 但是网站不让新用户上传附件 请问你需要看什么文件不行我截图给你 :sweat_smile:
4

可以发我邮箱：jiahuilei1@h-partners.com

10s一次的告警是在什么地方的？dmsg日志里面吗？可以也附一下么

5

你好，邮箱已发送附件和dmesg的打印可以直接看最后

6

ibma_log.tar.gz (41.0 KB)
附件再次，谢谢支持~~

7

初步分析了下日志，从BMA日志中，未能发现关于SAS盘的异常打印，且dmesg日志中的SAS控制器异常，和最初edma驱动的异常打印应该也没关系不大

可以尝试停掉IBMA服务，看下dmesg中是否还会继续打印SAS控制器异常。

如果停掉iBMA就不打印移除了，重新开启会继续打印，那需要提供一下这个SAS盘的具体信息，以及这个盘是否本身可能会有异常

8

你好，目前本地尝试 必现和ibma服务相关，移除ibma后不打印了 重新开启后又会打印，这个盘本身应该没有问题 做过硬盘相关测试

9

这可能需要收集一些更多信息来分析，

可以提供下环境的机型，OS版本，以及出问题的盘的类型、厂商、型号等具体信息吗

10

cpu 920s

os openeuler22.03sp4

ssd问题外，ibma本身请问找到有什么问题了吗

[root@59e9d86c-58f9-11f1-af7c-ac1f6bd3aec8 keda_moyun]# smartctl -a /dev/sda
smartctl 6.5 2016-05-07 r4318 [aarch64-linux-5.10.0-216.0.0.115.oe2203sp4.aarch64] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model: CWB1200K01480GP01512G00
Serial Number: 511250415085000099
Firmware Version: SCEM15.1
User Capacity: 480,103,981,056 bytes [480 GB]
Sector Size: 512 bytes logical/physical
Rotation Rate: Solid State Device
Form Factor: M.2
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: ACS-3 (minor revision not indicated)
SATA Version is: SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Fri Jun 12 13:01:59 2026 CST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: ( 30) seconds.
Offline data collection
capabilities: (0x79) SMART execute Offline immediate.
No Auto Offline data collection support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 1) minutes.
Extended self-test routine
recommended polling time: ( 2) minutes.
Conveyance self-test routine
recommended polling time: ( 3) minutes.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x0032 100 100 000 Old_age Always - 0
5 Reallocated_Sector_Ct 0x0012 100 100 000 Old_age Always - 0
9 Power_On_Hours 0x0012 100 100 000 Old_age Always - 790
12 Power_Cycle_Count 0x0012 100 100 000 Old_age Always - 219
168 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 0
170 Unknown_Attribute 0x0003 100 100 010 Pre-fail Always - 179
171 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0
172 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0
173 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 6
184 End-to-End_Error 0x0012 100 100 000 Old_age Always - 0
187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0
192 Power-Off_Retract_Count 0x0012 100 100 000 Old_age Always - 212
194 Temperature_Celsius 0x0022 070 046 000 Old_age Always - 30 (Min/Max 26/54)
198 Offline_Uncorrectable 0x0012 100 100 000 Old_age Always - 0
199 UDMA_CRC_Error_Count 0x0012 100 100 050 Old_age Always - 0
218 Unknown_Attribute 0x0012 100 100 050 Old_age Always - 0
231 Temperature_Celsius 0x0013 100 100 000 Pre-fail Always - 99
233 Media_Wearout_Indicator 0x0012 100 100 000 Old_age Always - 2104
234 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 443608304
235 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 4413602656
241 Total_LBAs_Written 0x0012 100 100 000 Old_age Always - 1955
242 Total_LBAs_Read 0x0012 100 100 000 Old_age Always - 248

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged. [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

[root@59e9d86c-58f9-11f1-af7c-ac1f6bd3aec8 keda_moyun]#

11

抱歉这几天有点忙。

分析dmesg日志中这个hisi_sas_v3_hw每10s钟的日志打印，认为应该是BMA在做硬盘信息查询发送SCSI命令时触发的故障提示，想来如果停掉BMA，手动发送相同的命令也会触发

不过BMA查询硬盘信息的SCSI命令有好几处，还无法确定具体是哪条命令可能会产生该问题

另外，您这边提供的 smartctl -a /dev/sda 盘的信息，里面的Serial Number，和之前提供的BMA日志中该盘的Serial Number不太一致，请问下这确定是同一台环境下的信息吗？有点奇怪

（社区的限制从黄区上传的图片不能太大，所以只能截很小的图 :sweat_smile: ）

image
image781×186 24.8 KB

image
image430×104 15.9 KB

image
image1109×103 34.7 KB

12

您这边提供的 smartctl -a /dev/sda 盘的信息，里面的Serial Number，和之前提供的BMA日志中该盘的Serial Number不太一致，请问下这确定是同一台环境下的信息吗？有点奇怪——不是同一个环境的但是也有这个问题用的都是同一个型号的ssd—–有需要的话我把同环境的ssd读取信息贴出来

分析dmesg日志中这个hisi_sas_v3_hw每10s钟的日志打印，认为应该是BMA在做硬盘信息查询发送SCSI命令时触发的故障提示，想来如果停掉BMA，手动发送相同的命令也会触发——–那这个问题有办法解决吗，因为我们想使用ibma服务但是由于这个会刷很多打印给我们带来了些困扰，另外这个问题原因是否和sata盘有关系，之前920l上面我们使用的是pcie的盘没有这个问题，但是由于我们这边920l的硬件设计没有预留sata接口所以我也不清楚920l接sata是否也会出这个问题

[root@6586c6d8-6896-11f1-8ac8-ac1f6beb8e34 keda_moyun]# smartctl -a /dev/sda

smartctl 6.5 2016-05-07 r4318 [aarch64-linux-5.10.0-216.0.0.115.oe2203sp4.aarch64] (local build)

Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===

Device Model: CWB1200K01480GP01512G00

Serial Number: 511251106275000014

Firmware Version: SCEM15.1

User Capacity: 480,103,981,056 bytes [480 GB]

Sector Size: 512 bytes logical/physical

Rotation Rate: Solid State Device

Form Factor: M.2

Device is: Not in smartctl database [for details use: -P showall]

ATA Version is: ACS-3 (minor revision not indicated)

SATA Version is: SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)

Local Time is: Wed Jun 17 09:22:50 2026 CST

SMART support is: Available - device has SMART capability.

SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===

SMART overall-health self-assessment test result: PASSED

General SMART Values:

Offline data collection status: (0x00) Offline data collection activity

was never started.

Auto Offline Data Collection: Disabled.

Self-test execution status: ( 0) The previous self-test routine completed

without error or no self-test has ever

been run.

Total time to complete Offline

data collection: ( 30) seconds.

Offline data collection

capabilities: (0x79) SMART execute Offline immediate.

No Auto Offline data collection support.

Suspend Offline collection upon new

command.

Offline surface scan supported.

Self-test supported.

Conveyance Self-test supported.

Selective Self-test supported.

SMART capabilities: (0x0003) Saves SMART data before entering

power-saving mode.

Supports SMART auto save timer.

Error logging capability: (0x01) Error logging supported.

General Purpose Logging supported.

Short self-test routine

recommended polling time: ( 1) minutes.

Extended self-test routine

recommended polling time: ( 2) minutes.

Conveyance self-test routine

recommended polling time: ( 3) minutes.

SMART Attributes Data Structure revision number: 16

Vendor Specific SMART Attributes with Thresholds:

ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE

1 Raw_Read_Error_Rate 0x0032 100 100 000 Old_age Always - 0

5 Reallocated_Sector_Ct 0x0012 100 100 000 Old_age Always - 0

9 Power_On_Hours 0x0012 100 100 000 Old_age Always - 545

12 Power_Cycle_Count 0x0012 100 100 000 Old_age Always - 827

168 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 0

170 Unknown_Attribute 0x0003 100 100 010 Pre-fail Always - 75

171 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0

172 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0

173 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 10

184 End-to-End_Error 0x0012 100 100 000 Old_age Always - 0

187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0

192 Power-Off_Retract_Count 0x0012 100 100 000 Old_age Always - 822

194 Temperature_Celsius 0x0022 069 047 000 Old_age Always - 31 (Min/Max 25/53)

198 Offline_Uncorrectable 0x0012 100 100 000 Old_age Always - 0

199 UDMA_CRC_Error_Count 0x0012 100 100 050 Old_age Always - 0

218 Unknown_Attribute 0x0012 100 100 050 Old_age Always - 0

231 Temperature_Celsius 0x0013 100 100 000 Pre-fail Always - 99

233 Media_Wearout_Indicator 0x0012 100 100 000 Old_age Always - 1159

234 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 1100003376

235 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 2432068576

241 Total_LBAs_Written 0x0012 100 100 000 Old_age Always - 998

242 Total_LBAs_Read 0x0012 100 100 000 Old_age Always - 482

SMART Error Log Version: 1

No Errors Logged

SMART Self-test log structure revision number 1

No self-tests have been logged. [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1

SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS

1 0 0 Not_testing

2 0 0 Not_testing

3 0 0 Not_testing

4 0 0 Not_testing

5 0 0 Not_testing

Selective self-test flags (0x0):

After scanning selected spans, do NOT read-scan remainder of disk.

If Selective self-test is pending on power-up, resume after 0 minute delay.

13

之前920l上面我们使用的是pcie的盘没有这个问题，但是由于我们这边920l的硬件设计没有预留sata接口所以我也不清楚920l接sata是否也会出这个问题

——这是否可以理解为，当前将一个SATA盘，插入到了PCIe接口上，但dmesg日志中报了SAS控制器错误，是这样吗？

14

不是的 现在报错的是920s的cpu 这个下面我们用的是sata盘 接的sas控制器 现在报错的不就是sas控制器嘛
我只是描述下类似的920lcpu下 我们也用了ibma服务没有异常打印但是因为用的是pcie的盘直连的并且没有预留sata接口 所以我们这边没有办法做对比测试即问题原因是否和接sata盘有关系

15

你好 这个有想法了吗

16

真不好意思，最近事务确实太多，有点顾不上 :face_holding_back_tears:

找到了一篇以前的帖子，可供参考： 安装iBMA后ubmc的首页没有上传cpu和内存信息 - #25，来自 zhouzijia

这里的打印是BMA向BMC发送ipmi请求，BMC没有及时给BMA返回请求结果导致的

定位的操作步骤：

在BMC后台发送 `mdbctl traceipmi start file edma` ，命令结果会输出到/tmp/ipmi.txt文件

image

在BMC后台的/tmp/ipmi.txt里可以看到命令的收发

image
image405×112 62.9 KB

17

这个问题点是只有当`no response in 10s`这个打印的时候才觉得是bmc和bma的ipmi通信异常吗 我们用的还是ibmc没有上面说的命令 :smiling_face_with_tear:

因为我们主要的问题点其实是sas控制器的报错

18

找一台设备进行如下操作，不要再出现上面的那种，操作是一个环境，日志是另一个环境的情况

1、先停掉BMA服务

2、cd到BMA的bin路径下（ /opt/huawei/ibma/bin 或者 /opt/ibma/bin ）

执行 ./PrintSmart PCH /dev/sda （传入有问题的盘符），同步关注下dmsg中有没有sas控制器的报错

3、同一环境，smartctl -a /dev/sda （传入有问题的盘符），同步关注下dmsg中有没有sas控制器的报错

如果 2 和 3 的操作有同样的报错，应该是盘的驱动或固件有问题

19

你好 根据这个进行了测试 串口操作记录发邮件给你了

目前发现 步骤2 会触发异常 但是步骤3不会

bma的PrintSmart 有什么特殊操作吗

如果需要取日志麻烦尽快回复 我们需要恢复环境 不然后面又会出现操作环境和日志环境不一致

20

将BMA的disk日志调成debug级别

具体命令：ibmacli debug -e true -m disk -l debug

参数可以参考：https://support.huawei.com/enterprise/zh/doc/EDOC1100218099/34020643#ZH-CN_TOPIC_0000002542104413

开启后再执行PrintSmart命令，在/opt/huawei/ibma/log目录下会产生disk_so.log，收集下这个日志发一下