• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

AI算法测评(五)–算法测试实践

开发技术 开发技术 1周前 (04-07) 3次浏览
算法测试时需要明确算法测试工作的定位:算法质量验收与场景性能分析,一切工作的目的便是确保这两项工作的客观中立性和专业性。下面将根据工作内容的先后顺序进行展示。
  1. 1. 明确待解决的问题和测试需求
通常首次算法提测前,产品负责人、产品经理、算法研发负责人、项目管理人员和算法测试人员等会开一个需求评审会,评审会又包括两个部分:产品算法功能需求评审和算法技术方案评审。在此阶段算法测试人员需要:
a.理解产品功能点的需求,即为什么需要此功能,有了该功能后产品能够实现什么样的效果;
b.了解产品的应用场景范围,并确定主要的应用场景,对后续测试方案的设计大有帮助;
c.理解产品需求的算法实现技术方案,确定算法方案的输入数据与方式,结果输出内容与方式,同时确定相关的算法指标及及算法方式;
d.测试数据的获取,最好是业务侧提供测试数据,或者算法应用场景相关的资料数据以供测试方案设计与数据采集;
e.确定算法测试所需要的相关支持,主要是测试数据支持和算法相关的接口支持(测试环境)
  1. 2.设计算法测试方案
在确定需求后和算法技术路线后,便可以着手设计算法测试方案。
a.确定算法主要方面、测试因素和测试目的,根据控制变量法设计实验和数据量;
b.确定需要算法侧提供的相关支持项,并同步在测试方案中,便于跟踪;
c.确定测试方案后,需要对测试方案进行评审,评审人员应该包括产品负责人、产品经理、算法研发人员、项目管理人员、算法测试人员和数据处理人员;
d. 评审通过后需要确定算法发版时间,提测时间和测试报告产生时间;
e.数据相关的支持确定下来;
d.后续可能需要对测试方案进行更新调整,需要做好版本管理;
  1. 3.测试数据采集
测试方案确定以后,便是对数据进行清洗或分类整理,如果没有数据还需要采集测试数据。
a.测试数据采集,如果业务侧提供相关数据,可根据实际需要确定是否需要进行数据采集,如果不提供数据,只能采集数据;
b.对采集的数据进行标注和分类整理,对测试数据中不合格的数据进行清理;
c.对清理好的数据需要进行版本管理,便于后侧算法版本更迭后快速测试;
e.测试数据可能会发生变化更新,需要对测试数据进行版本管理;
  1. 4.算法测试
有算法测试方案、测试数据集和算法服务,便可对算法进行测试。
a.算法测试时注意异常情况记录,算法仅是产品功能点,还会有其他工程性代码在其中,可能会有一些工程性问题;
b.排查测试结果异常部分,找出原因并更正记录;
c.测试算法服务本身相关信息,比如:内存消耗,时间开销,稳定性和并发量等;
  1. 5.编写测试报告
算法测试过程跑完,就需要编写算法测试报告,算法测试报告需要包含一些信息,便于回溯:
a.测试相关信息:项目名称及代号、测试人员、测试日期、算法版本号等;
b.测试参考文档:产品设计文档、算法功能需求文档、产品需求评审文档、算法提测文档、算法测试方案文档等,便于算法性能跟踪;
c.测试结论,通过或不通过,及原因解释和可能的风险点;
d.算法测试指标结果;
e.算法测试结果中badcase分析;
f.其他信息:测试过程中出现的异常问题等.

程序员灯塔
转载请注明原文链接:AI算法测评(五)–算法测试实践
喜欢 (0)