ItestSmart、Kptest使用反馈

QA SIG
1

反馈模版
1、是否已经在使用KPTest框架和itestsmart工具
2、使用工具、开发用例的过程中遇到什么问题
3、对KPTest、itestsmart的诉求
4、下一步规划以及目标，比如：哪些用例要通过KPTest开发实现，支撑xx版本自动化测试，测试效率提升xx等等

2

神码计算：

  1. 已经在使用KPTest框架和itestsmart工具。
  2. 使用itestsmart工具遇到的问题，都已经在论坛提问求助；开发用例尚无问题。
  3. 目前对KPTest的诉求，就是希望能够提供系统的赋能培训，这样更多的同事可以了解、学习这个自动化框架。
  4. 通过KPTest开发redfish、ipmi等接口的测试用例，支持基于openUBMC 25.03及其后续版本的测试。
3

软通计算机：
1、已经在使用itestsmart工具，KPTest框架还未使用
2、使用工具、开发用例的过程中遇到的问题已反馈工具负责人
3、对itestsmart的诉求：是否可以直接构建对应的测试用例集，例如我们要测试一款RAID卡，是否可以说直接建立对应的任务集？
4.下一步的规划：测试SSD的兼容性，尝试使用iTestSmart进行BMC测试

4

长江计算
1.已经在使用iTestSmart工具和kptest自动化框架
2.使用中遇到的itest问题如下
1).在用iTestSmart测试openUBMC相关用例时，如果oem不一样，例如Huawei和openUBMC，我们担心会影响测试结果，是否有相关配置文件进行修改
2).目前在用已有的456个openUBMC用例进行测试时，发现有些测试结果说明当前分支不支持，后续这些有分支前提的用例能否同步给我们
3).目前openUBMC分很多代码仓，iTestSmart目前的用例分类是按照代码仓来的，还是跟以前一样按照功能来的
3.对于itestsmart诉求，希望提供QA会上沟通提到的两千多个用例用于bmc基本功能测试；对于kptest自动化框架安装使用希望提供赋能培训
4.下一步计划，itestsmart测试bmc，kptest应用接口用例；

5

宝德计算：

  1. itestsmart工具已使用，尚未使用KPTest框架;
  2. 使用itestsmart工具遇到的问题，都已经在沟通交流群提问求助，KPTest框架邮件申请中；
  3. 对KPTest、itestsmart的诉求：
    3.1 itestsmart：希望提供或社区共建OpenUBMC基本功能测试用例；
    3.2 KPTest框架：希望框架的三个模块/层能够分离单独使用，方便做二次开发；
  4. 下一步规划：基于KPTest框架，结合Qemu在CI流程中做OpenUBMC冒烟测试。
6

百信：
1、已经在使用itestsmart工具，KPTest框架还未使用
2、 目前对KPTest的诉求，就是希望能够提供系统的赋能培训，这样更多的同事可以了解、学习这个自动化框架。
3、对itestsmart的诉求：能不能将t-flow工具上的用例关于SSD,NVME，内存的用例集成到itestsmart，方便在itestsmart上进行测试
4.下一步的规划：学习使用kptest，能够进行相关测试

7

百敖软件：

  1. 已经在使用itestsmart工具测试, KPTest框架开始在学习。
  2. 使用itestsmart工具遇到的一些测试用例卡住和测试失败的问题，等确认现象会在论坛提问求助。
  3. 目前对KPTest的诉求，就是希望能够提供系统的赋能培训，开放和开源更多的测试用例给伙伴。有利于伙伴积极推广使用和调试问题。
  4. 计划使用iTestSmart工具和KPTest，支持基于openubmc开发的BMC客户版本的发布测试。
8

昆仑：
1、已经在使用itestsmart工具，KPTest框架暂未使用
2、使用工具、开发用例的过程中问题：
openUBMC的性能指标基线没有明确，相关测试标准无法判断
3、对KPTest、itestsmart的诉求：
按照模块化构建用例集，便于进行单个或多个部件相关测试
4、下一步规划以及目标：
根据当前版本需求逐步开发用例并基于KPTest框架开发脚本执行自动化

9

版主，请问ItestSmart、KPtest怎么获取呢，想使用不知道获取途径，谢谢

11

参考这个帖子

12

谢谢

13

你好，刚刚发邮件申请了，邮箱地址是：zhaoshumei@extretech.cn，请问后面会有人联系我获取方法吗，谢谢

14

是的，审核通过后会直接发到你提供的邮箱。

15

会审核哪些东西呢，对公司或个人有啥硬性要求没，谢谢

17

华鲲：
已经在使用KPTest框架和itestsmart工具。
1、工具使用问题：
1）版本校验问题：部分用例在执行前会进行版本号校验以判断分支是否支持，有新增的版本号或者定制化版本号后此类用例无法执行；
2）定制化问题：定制化后oem中厂商信息会变，使得大部分用例无法执行。
3）对于每日构建等公共自动化测试任务，当前itestsmart是基于个人PC运行，存在多人同时分析构建时流程复杂的情况
4）导入的扩展用例无法删除，不方便进行用例目录的整改
2、KPTest框架使用问题：
1）用例开始时存在一些基础检查项无法屏蔽，在开发定制化脚本时可能导致用例长时间等待；
2）当前提供的接口文档较为简单，部分基础接口需要重复开发；
3）对于预期就是异常的测试用例，需要在底层的Redfish/Ipmi等命令处进行适配，期望可以提供修改方法或者可用接口；
3、
1）基于ItestSmart发放定制化接口，对于版本号判断、oem字段等常见定制化选项支持手动写入或修改；
2）执行结果界面增加责任人和分析结果，方便失败用例分析闭环；
4、基于Kptest开放框架，新增RAID卡类用例自动化实现，支撑后续各部件引入项目测试。