客户现场OCP卡 NCSI不通问题

[chengxiaoju (软通华方_程晓菊)]

【 前提 】：

应客户要求适配一张OCP卡，BMC完成适配且在实验室环境下测试功能正常。NCSI功能也正常。实验室环境：业务口和管理口网络是通的，没有设置VLAN。

【 问题 】：

客户现场测试NCSI不通。

【 测试步骤 】：

测试方法：

1.客户现场通过VLAN将业务口和管理口进行物理隔绝，两个网络互不可见。

2.BMC设置网络模式为自动选择。

3.NCSI VLAN ID设置为888，Dedicated VLAN不设置。

4.将BMC管理口网线拔掉。

【 测试结果 】：

拔掉管理口网线之后BMC的NCSI不通，lan print 1没有获取到BMC的IP。

【问题请教】：

1.BMC的NCSI底层原理是如何实现的？

2.客户现场BMC的NCSI不通的原因是什么？是否需要设置bond？

3.是否需要实现lan 8功能？

[ubmc_assistant (openUBMC_Assistant)]

答案内容由AI生成，仅供参考：

总结

问题	结论
1. NCSI底层原理	基于MCTP/RMII的带外协议，通过业务网卡共享BMC管理通道，需初始化NCSI通道并配置VLAN。
2. NCSI不通原因	根本原因是VLAN未端到端打通。BMC配置VLAN 888，但交换机或网卡未允许该VLAN通过，导致通信失败。
3. 是否需Bond	否，应使用自适应模式实现网口切换。
4. 是否需LAN 8	否，常规场景使用Channel 1即可。

点击此处查看详细分析解答

客户现场NCSI不通问题分析与解答

针对客户现场NCSI（Network Controller Sideband Interface）功能异常的问题，结合现有知识库内容，对问题进行系统性分析并提出解决方案。

---

1. BMC的NCSI底层实现原理

NCSI（网络控制器边带接口）是一种标准化的带外管理协议，用于在BMC（Baseboard Management Controller）与网络控制器之间建立侧向通信通道。其核心作用是允许BMC通过服务器的主网络适配器实现远程管理功能，而无需独立的专用管理网口。

架构组成与工作机制：

核心组件关系：

• BMC：作为管理控制器，负责发起和接收NCSI报文。
• NCSI Switch/Network Controller：支持NCSI协议的网络芯片（如网讯WX1860），通常通过PCIe连接到主CPU，并通过旁路线（Sideband）连接BMC。
• NCSI Port（如eth0）：BMC上配置用于NCSI通信的逻辑端口，通常对应eth0。
• 专用网口（Dedicated Port，如eth2）：BMC自带的物理管理端口，不依赖主机网络。

工作流程：

1. 初始化阶段：
   • BMC启动后，由network_adapter组件扫描PCIe设备。
   • 若发现支持NCSI功能的OCP网卡，则调用bmc_network组件注册一个NCSI网口。
2. 通道建立：
   • 激活NCSI channel，发送NCSI控制报文（如Enable Channel, Set VLAN ID等）。
   • 配置完成后，NCSI链路可传输网络透传数据包（即BMC的管理流量）。
3. 报文分类：
   • NCSI控制报文：由BMC发送至NCSI网卡，配置Link、VLAN、MAC等参数。
   • 网络透传报文：实际的IP通信（如Web、SSH），通过NCSI通道“借用”业务网卡的物理连接上传递。
4. 网络切换机制：
   • 当BMC处于自适应模式（Adaptive Mode）时，会优先选择状态正常且优先级高的网口作为活动管理端口。
   • 根据系统优先级排序：

     专用网口 > 板载网口 > OCP网口 > OCP2网口
     

   • 拔掉专用网口时，BMC应自动切换至NCSI网口（如OCP2扩展网口）。

关键技术支持：

• 使用MCTP或RMII作为底层传输协议。
• 支持VLAN隔离：NCSI网口可配置独立VLAN以实现网络分段。
• 通过WriteOcpCardBdfToBmc命令将PCIe设备的BDF地址（Bus, Device, Function）传给BMC，用于设备识别。
• NCSI功能依赖于网络卡驱动及Firmware支持。

参考信息：bmc_network组件负责处理IP配置、VLAN、DHCP等；network_adapter负责检测NCSI网口并向bmc_network注册该端口。

---

2. 客户现场NCSI不通的原因分析

尽管该OCP网卡在实验室环境中测试正常（无VLAN隔离），但在客户现场部署后NCSI失效，主要原因如下：

问题根本原因分析：

根本原因：未正确将NCSI VLAN映射到业务网络

• 实验室环境：未使用VLAN，所有网络在同一广播域中，BMC可以通过NCSI网口直接访问业务网络，因此即使不配置VLAN也能通讯。
• 客户现场：使用VLAN 888对管理与业务网络进行隔离。
  • 虽然在BMC侧设置了NCSI VLAN ID = 888，但：
    • 交换机或上联网络未允许VLAN 888通过该业务端口。
    • 业务网卡未启用VLAN 888的Tag处理能力。
    • NCSI通道未正确配置VLAN Filter，导致VLAN 888报文被丢弃。

结论：BMC发出的NCSI报文虽然被打上了VLAN 888标签，但由于路径中缺乏相应的VLAN透传/识别机制，报文无法到达外部管理网络，导致“无法ping通”、“lan print 1 无响应”。

---

辅助原因排查点：

问题点	是否可能存在	说明
OCP2卡未激活NCSI通道	可能	OCP2虽存在，但文档显示“不注册NCSI channel”（System Information页）。需确认其固件支持NCSI。
NCSI Port未正确注册	存在风险	若network_adapter未识别NCSI功能，则不会向bmc_network注册eth0，导致Web界面看不到NCSI网口。
VLAN配置未生效	很可能	日志显示vlan enable = false，可能配置失败或未重启网络。
PHY链路未稳定建立	可能	NCSI要求BMC和NCSI芯片之间的物理通道连通（如SGMII、RMII），若硬件走线异常或固件未初始化，通信会中断。
MAC地址未同步	可能	BMC可通过GetMacAddress获取或用DefaultMacAddrNCSI设定MAC，若未正确配置会导致L2不可达。

---

是否需要设置Bond？

不需要。

• **Bond（链路聚合）**用于提升带宽或冗余，适用于将多个物理网口合并为一个逻辑口。
• 在本场景下：
  • 仅有一个NCSI网口（eth0）和一个专用网口（eth2）。
  • 目标是实现网口自动切换（failover），而非链路聚合。
• 正确做法是使用“自适应模式”，而不是Bond。

推荐机制：使用bmc_network的“自适应模式”，优先级自动切换。

---

3. 是否需要实现LAN 8功能？

一般不需要，除非客户有特殊需求。

LAN 8 是什么？

• “LAN 8”通常指IPMI中的LAN Channel 8，是一种高级管理网络配置方式。
• 它允许BMC通过多个独立的逻辑管理通道进行通信，常用于双平面或安全隔离场景。
• 配置项包括：
  • 多个Eth Group
  • 独立IP、VLAN、用户权限
  • 支持内网通信与外网通信分离

当前场景建议：

功能	当前是否需要
LAN 8（多通道）	不需要
单NCSI通道 + VLAN	足够
自适应模式 + VLAN隔离	推荐

建议做法：使用默认的LAN Channel 1（即Channel=1）即可满足需求，无需开启LAN 8。

---

综合解决方案建议

步骤一：验证硬件与驱动层NCSI支持

1. 登录BMC CLI，执行以下命令确认NCSI网口是否已被识别：

   ipmcget -d ipinfo
   

   查看输出中是否有NCSI Port VLAN State相关信息。

2. 使用命令查看NCSI接口是否存在：

   busctl list-properties bmc.kepler.Managers.EthernetInterfaces
   

   检查NcsiEnable == true，且存在eth0。

3. 确认network_adapter是否上报了NCSI口：

   journalctl -u network_adapter | grep -i ncsi
   

   应看到类似日志：

   network_adapter识别到了NCSI口后，会向bmc_network注册NCSI网口
   

---

步骤二：确保VLAN配置正确并生效

1. 在BMC上确认VLAN设置：

   ipmcget -d vlan
   

   预期输出包含：

   NCSI Port VLAN ID : 888
   NCSI Port VLAN State : enabled
   

2. 在platform.sr或定制化脚本中检查：

   "BMCSet_NCSI_VLAN_ID": "888"
   

3. 重启网络服务或BMC以使VLAN生效（VLAN设置常需重启）。

---

步骤三：检查交换机与业务网络配置

项目	要求
上联交换机端口	必须允许VLAN 888（Trunk模式）
OCP网卡固件	必须支持VLAN filtering 并启用VLAN 888
客户端PC	必须配置在同一VLAN 888中测试连通性

注意事项：仅BMC端开启VLAN 888而其他端不支持，则通信失败。

---

步骤四：修改网口优先级（可选）

若希望拔掉专用网口后立即切换至OCP2 NCSI口，需检查并调整以下配置：

1. 确认OCP2已正确配置为NCSI源：

   "OcpCardBdf": {
       "BDF": "0000:01:00.0"
   }
   

2. 在BMC Web界面中启用OCP2扩展口参与自适应模式：

   • 进入“OCP2扩展网口” → “Port1” 和 “Port2” → 打开“自适应标志”。
   • 确保“优先级”未被设为最低。

3. 优先级策略可通过CSR配置：

   "EthGroup_OutEthGroup": {
       "AssociatedPortType": 1,   // 1表示NCSI port
       "VLANId": 888,
       "VLANEnabled": true
   }
   

---

步骤五：日志收集与诊断

收集以下日志用于深入分析：

# 1. 网络配置信息
ipmcget -d ipinfo

# 2. VLAN状态
ipmcget -d vlan

# 3. NCSI控制信息
journalctl -u bmc_network | grep -i ncsi
journalctl -u network_adapter | grep -i ncsi

# 4. 检查OCP Port是否存在
grep "OCP Port 1" /var/log/web_backend.log
# 若出现“Modification failed because OCP port 1 does not exist”，说明资源树识别失败

---

总结

问题	结论
1. NCSI底层原理	基于MCTP/RMII的带外协议，通过业务网卡共享BMC管理通道，需初始化NCSI通道并配置VLAN。
2. NCSI不通原因	根本原因是VLAN未端到端打通。BMC配置VLAN 888，但交换机或网卡未允许该VLAN通过，导致通信失败。
3. 是否需Bond	否，应使用自适应模式实现网口切换。
4. 是否需LAN 8	否，常规场景使用Channel 1即可。

---

最终建议

1. 客户侧：

   • 确保上联交换机开放VLAN 888通行权限。
   • 测试机加入VLAN 888再尝试连接BMC。

2. 开发侧：

   • 检查OCP2是否成功注册NCSI通道。
   • 确保BMCSet_NCSI_VLAN_ID=888已写入定制化配置。
   • 重启后验证NCSI端口状态。

3. 长期建议：

   • 提供完整的NCSI适配指南，包括VLAN、BDF注册、MAC同步等。
   • 增加“NCSI连通性一键诊断”工具。

只要确保 VLAN 888 在整个链路中畅通，拔掉专用网口后BMC即可通过NCSI接口正常通信。

[bakbad]

你好，请教下， 我这个web界面上只有一个Mgmt的管理网口，另外一个OCP网口没显示，但是在web界面上能看到PCIe网卡的信息，在适配的过程中有没有遇到过这样的问题呀（PCIe网卡是直接由CPU模组的SerDes那边直出的）