26.6.30装备管理口环回测试超时失败

// 此模板仅供参考,如果不适用可以修改

问题描述

使用26.6.30版本进行装备管理口环回测试时提示超时失败

环境信息

  • 软件版本:[OpenUBMC2606]

重现步骤

  1. [执行准备管理口环回测试命令]

期望结果

[管理口环回测试成功]

实际结果

[管理口环回测试超时失败,执行测试过程中连续10分钟查看环回测试结果,一直显示正在测试中]

Line 6129: 2026-11-18 22:42:36.035036 manufacture NOTICE: get_test_item_count.lua(24): get dft item type = 2 num is 24
Line 6130: 2026-11-18 22:42:36.102622 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=94 slot=0 device_num=0 itemname=Type C USB Test
Line 6131: 2026-11-18 22:42:36.173832 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=70 slot=0 device_num=0 itemname=SPI Test
Line 6132: 2026-11-18 22:42:36.246830 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=68 slot=18 device_num=0 itemname=BCU1 Vce Test
Line 6133: 2026-11-18 22:42:36.329534 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=65 slot=18 device_num=0 itemname=BCU1 Keyboard Test
Line 6134: 2026-11-18 22:42:36.412056 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=69 slot=14 device_num=1 itemname=SEU JTAG Test
Line 6135: 2026-11-18 22:42:36.491689 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=69 slot=13 device_num=1 itemname=CLU JTAG Test
Line 6136: 2026-11-18 22:42:36.574142 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=69 slot=10 device_num=1 itemname=SEU JTAG Test
Line 6137: 2026-11-18 22:42:36.651841 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=69 slot=18 device_num=1 itemname=BCU1 JTAG Test
Line 6138: 2026-11-18 22:42:36.722192 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=69 slot=3 device_num=1 itemname=EXU JTAG Test
Line 6139: 2026-11-18 22:42:36.794401 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=0 device_num=4 itemname=EXUBCU Hisport1(CPLD1)Test
Line 6140: 2026-11-18 22:42:36.887440 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=0 device_num=3 itemname=EXUBCU Hisport0(CPLD0)Test
Line 6141: 2026-11-18 22:42:36.961651 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=0 device_num=7 itemname=BCU Hisport2(CPLD1-0)Test
Line 6142: 2026-11-18 22:42:37.051625 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=0 device_num=5 itemname=BCU Hisport0(CPLD0-1)Test
Line 6143: 2026-11-18 22:42:37.120943 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=0 device_num=5 itemname=SMC For PSU LM75 Temp
Line 6144: 2026-11-18 22:42:37.193887 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=0 device_num=4 itemname=SMC For NIC2 LM75 Temp
Line 6145: 2026-11-18 22:42:37.268317 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=18 device_num=8 itemname=CpuBoard1 DFT DISABLE Test
Line 6146: 2026-11-18 22:42:37.347589 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=0 device_num=3 itemname=SMC For NIC1 LM75 Temp
Line 6147: 2026-11-18 22:42:37.452907 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=0 device_num=7 itemname=SMC For Hdd BackCard Temp
Line 6149: 2026-11-18 22:42:37.551844 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=0 device_num=6 itemname=SMC For FanBoard LM75 Temp
Line 6150: 2026-11-18 22:42:37.699943 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=18 device_num=1 itemname=CpuBoard1 DFT ENABLE Test
Line 6151: 2026-11-18 22:42:37.773469 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=89 slot=0 device_num=2 itemname=ExpBoard LM75 SMC Test
Line 6152: 2026-11-18 22:42:37.855925 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=74 slot=1 device_num=0 itemname=MGMT Test
Line 6153: 2026-11-18 22:42:37.926884 manufacture NOTICE: get_test_item_info.lua(97): dft test get item info: dft_id=66 slot=18 device_num=0 itemname=BCU1 Cd Test
Line 6154: 2026-11-18 22:42:37.997492 manufacture NOTICE: start_dft_test.lua(78): dft test start: dft_id=74 slot=1 device_num=0 itemname=MGMT Test
Line 6155: 2026-11-18 22:42:39.995259 bmc_network NOTICE: manufacture_dft.lua(127): dft eth test: Id:74 Slot:1 DeviceNum:0
Line 6156: 2026-11-18 22:42:39.996356 bmc_network NOTICE: manufacture_dft.lua(267): dft eth start: eth_name:eth2 eth_mac:88:b4:be:33:dc:71 test_type:0
Line 6157: 2026-11-18 22:42:39.997578 bmc_network NOTICE: manufacture_dft.lua(224): bmc self loop test start mac is: 3q,eth is eth2
Line 6158: 2026-11-18 22:42:39.998273 bmc_network NOTICE: manufacture_dft.lua(283): dft eth start: test status: Testing, test result:Non
Line 6159: 2026-11-18 22:42:40.071076 manufacture NOTICE: get_dft_result.lua(105): dft test get result: dft_id=74 slot=1 device_num=0 itemname=MGMT Test
Line 6161: 2026-11-18 22:42:40.494229 bmc_network NOTICE: manufacture_dft.lua(49): get_phy_identifier start!
Line 6162: 2026-11-18 22:42:40.494865 bmc_network ERROR: app_preloader.lua(232): .../bmc/apps/bmc_network/lualib/dft_eth/manufacture_dft.lua:225: app(bmc_network/service/main) count(1) pcall failed(.../bmc/apps/bmc_network/lualib/dft_eth/manufacture_dft.lua:50: attempt to index upvalue 'mdio_ctor' (a boolean value))
Line 6163: 2026-11-18 22:42:41.145131 manufacture NOTICE: get_dft_result.lua(105): dft test get result: dft_id=74 slot=1 device_num=0 itemname=MGMT Test
Line 6167: 2026-11-18 22:42:42.219784 manufacture NOTICE: get_dft_result.lua(105): dft test get result: dft_id=74 slot=1 device_num=0 itemname=MGMT Test
Line 6168: 2026-11-18 22:42:43.298117 manufacture NOTICE: get_dft_result.lua(105): dft test get result: dft_id=74 slot=1 device_num=0 itemname=MGMT Test
Line 6169: 2026-11-18 22:42:44.381246 manufacture NOTICE: get_dft_result.lua(105): dft test get result: dft_id=74 slot=1 device_num=0 itemname=MGMT Test
Line 6170: 2026-11-18 22:42:45.462732 manufacture NOTICE: get_dft_result.lua(105): dft test get result: dft_id=74 slot=1 device_num=0 itemname=MGMT Test

尝试过的解决方案

更换多个环回水晶头现象一致。

分析结论

[bmc_network ERROR: app_preloader.lua(232): …/bmc/apps/bmc_network/lualib/dft_eth/manufacture_dft.lua:225: app(bmc_network/service/main) count(1) pcall failed(…/bmc/apps/bmc_network/lualib/dft_eth/manufacture_dft.lua:50: attempt to index upvalue ‘mdio_ctor’ (a boolean value)) 根据日志怀疑mdio_ctor的取值有问题,但是看不到bmc_network 1.120.38的源码,希望确认一下这个版本的源码这里有没有问题]

答案内容由AI生成,仅供参考:

结论

根据你提供的日志与上下文中的分析结论,26.6.30 版本使用的 bmc_network 1.120.38 在 manufacture_dft.lua:50 处确实存在缺陷:mdio_ctor 实际取值为 boolean(MDIO 模块初始化失败),代码未判空就直接索引/调用,导致 dft_eth worker 的 pcall 失败,DFT 结果无法回传,最终表现为管理口环回测试长时间卡在“正在测试中”并超时失败。

你日志中的崩溃栈与已有分析完全吻合:

bmc_network ERROR: app_preloader.lua(232):
.../bmc/apps/bmc_network/lualib/dft_eth/manufacture_dft.lua:225:
app(bmc_network/service/main) count(1) pcall failed(
.../dft_eth/manufacture_dft.lua:50:
attempt to index upvalue 'mdio_ctor' (a boolean value))
点击此处查看详细分析解答

结论

根据你提供的日志与上下文中的分析结论,26.6.30 版本使用的 bmc_network 1.120.38 在 manufacture_dft.lua:50 处确实存在缺陷:mdio_ctor 实际取值为 boolean(MDIO 模块初始化失败),代码未判空就直接索引/调用,导致 dft_eth worker 的 pcall 失败,DFT 结果无法回传,最终表现为管理口环回测试长时间卡在“正在测试中”并超时失败。

你日志中的崩溃栈与已有分析完全吻合:

bmc_network ERROR: app_preloader.lua(232):
.../bmc/apps/bmc_network/lualib/dft_eth/manufacture_dft.lua:225:
app(bmc_network/service/main) count(1) pcall failed(
.../dft_eth/manufacture_dft.lua:50:
attempt to index upvalue 'mdio_ctor' (a boolean value))

日志与崩溃点定位

你的日志时间线如下:

  • 22:42:37.997492:start_dft_test.lua(78) 启动 dft_id=74 slot=1 device_num=0 itemname=MGMT Test
  • 22:42:39.996356:manufacture_dft.lua(267) 开始 dft eth start: eth_name:eth2 ... test_type:0
  • 22:42:39.997578:manufacture_dft.lua(224) 开始 bmc self loop test start ... eth is eth2
  • 22:42:39.998273:manufacture_dft.lua(283) 状态为 test status: Testing, test result:Non
  • 22:42:40.494229:manufacture_dft.lua(49) 打印 get_phy_identifier start!
  • 22:42:40.494865:约 4ms 后即发生崩溃,报错指向 manufacture_dft.lua:50 的 mdio_ctor 为 boolean
  • 之后 get_dft_result.lua(105) 多次查询 MGMT Test 结果,但一直无法得到有效结果,表现为持续“Testing”直至超时

这与已有分析中的证据链一致:get_phy_identifier 执行后立即崩溃,DFT 结果无法回传。


根因机制

根据上下文中的分析:

  • mdio_ctor 是对 MDIO 驱动模块 libsoc_adapter.mdio 执行 pcall(require, ...) 的结果。

  • 当 MDIO 模块初始化失败时,mdio_ctor 为 boolean(例如 false),而不是可用的 table/module 对象。

  • manufacture_dft.lua:50 未对该结果做类型判断或空值判断,直接进行索引/调用,LuaJIT 抛出:

    attempt to index upvalue 'mdio_ctor' (a boolean value)
    
  • 该异常导致整个 dft_eth worker 的 pcall 失败,DFT 测试结果无法正常回传。

  • 对外表现即为:测试状态长期停留在 Testing,最终装备侧判定超时失败。

触发条件

上下文中的分析指出:

  • 该问题发生在 BMC 重启后执行 MGMT 口 PHY 识别时。
  • BMC 重启后,MGMT 口 PHY 的 MDIO 访问路径可能尚未就绪。
  • 同时日志中存在链路异常迹象,例如 net_dft.c(197) recv failed! errno:2,对应 ENOTCONN,说明该口 PHY/链路初始化本身可能不稳定。
  • 旧版本 bmc_network 没有该崩溃路径,因此回退后同板测试可以通过。

版本回归证据

上下文中的分析给出了以下版本对比:

  • bmc_network/1.120.38:manufacture_dft.lua:50 存在 mdio_ctor 未判空直接索引的问题,BMC 重启后执行 MGMT 口 PHY 识别时崩溃。
  • 51.04 使用的旧版 bmc_network:无此崩溃路径,因此回退后测试 Pass。
  • 其他分支使用的 bmc_network 1.110.43 / 1.121.13:其字节码中已出现 retry_get_identifier(PHY 识别重试/容错)相关字符串常量,说明较新版本已增加容错逻辑。
  • 因此,该问题可以判断为确定性版本回归,而非单纯测试工具或环回水晶头问题。

你提到“更换多个环回水晶头现象一致”,这也与上述判断一致:问题更可能落在 bmc_network 代码路径,而不是环回头硬件本身。


修复建议

上下文中的分析给出了建议修复方向:

1. 对 mdio_ctor 做类型判断,避免崩溃

local function get_phy_identifier(phy_addr)
    log:notice('get_phy_identifier start!')
    if type(mdio_ctor) ~= 'table' then
        log:error('mdio ctor unavailable, skip phy identifier (phy_addr=%s)', tostring(phy_addr))
        return nil   -- 走 DFT 失败结果回传,而不是崩溃
    end
    -- ... 原识别逻辑
end

核心点是:当 MDIO 模块未就绪时,应返回失败结果或进入重试,而不是直接索引 mdio_ctor 导致 worker 崩溃。

2. 对齐新版重试逻辑

建议对齐 1.110.43+ 中已有的 retry_get_identifier 逻辑,避免单次 MDIO 未就绪就直接判失败。

3. 由 bmc_network 属主确认修复版本

上下文明确指出:修复需落在闭源仓 bmc_network,当前无源码;需要由 bmc_network 属主确认修复版,并做 MGMT DFT 回归验证。


其他可排查项

虽然你的日志已经明确指向 mdio_ctor 崩溃,但上下文也提供了环回测试的通用排查项,可作为辅助确认:

  • 测试需要硬件支持回环连接。
  • 回环测试失败:检查 SrcSerial 和 DestSerial 配置是否正确。
  • 测试超时:检查硬件回环连接和 ProcessPeriod 配置;ProcessPeriod 建议设置为合理值。
  • 概率性失败场景中,已有分析提到可能是测试时流量大或网络硬件驱动原因导致帧被截断或覆盖,只收到部分数据;例如发送 250 字节、接收 110 字节。但你的场景是重启后 mdio_ctor 直接崩溃,属于更明确的代码路径问题。
  • 也可确认专用网口网线是否拔掉、环回头是否正确插上;不过你已更换多个环回水晶头且现象一致,硬件环回头因素基本可以排除。

待确认事项

由于 bmc_network 1.120.38 为闭源版本,当前上下文中无法直接查看其源码。要最终确认并修复,需要:

  1. 由 bmc_network 属主确认 1.120.38 的 manufacture_dft.lua:50 是否存在上述未判空逻辑;
  2. 确认修复版本,并验证 BMC 重启后 MGMT 口 PHY 识别路径;
  3. 使用修复后的 bmc_network 做 MGMT DFT 回归测试,确认测试状态能从 Testing 正常返回 Succeed 或明确失败结果,而不是卡死超时。

这个文件1.120.38和最新代码是一致没,没有改动

代码一致的话,按 ai 说法是MDIO 模块初始化失败导致的,那什么情况下会导致MDIO 模块初始化失败?目前管理口是正常的,这个是装备测试,不存在BMC启动过程中导致MDIO 模块初始化失败的情况。