软件所提出测试用例冗余检测新方法

文章来源:  |  发布时间:2022-07-07  |  【打印】 【关闭

  

  近日,软件所互联网软件技术实验室在软件测试用例冗余检测方向中取得进展。团队提出了一种细粒度的冗余测试用例检测方法,该方法通过识别测试用例中包含的关键测试要素,比较测试用例在关键测试要素上的差异,实现了更准确的冗余测试用例检测。团队运用工业界的真实测试数据进行评估,评估结果表明,该方法超越学术界和工业界现有最好方法,能够在不牺牲召回率的前提下,提升30-39%的冗余检测准确率,从而提升了冗余检测的整体精度。 

  在系统测试、第三方测试等场景中,测试用例通常由自然语言描述,但由于需求冗余、测试人员周转等原因,不可避免的会出现大量冗余测试用例,从而增加了测试成本。以往的冗余检测方法通常是将测试用例的文本描述作为整体来比较用例之间的相似性,由于无法感知测试用例在关键测试要素上的细微差别,导致冗余检测的精度较低,影响了测试效率且潜在增加了测试成本。 

  针对以往基于全文相似度的冗余检测方法存在的精度低的问题,该研究定义了功能组件、操作、系统状态、测试工具和限制条件等5种测试用例中包含的测试要素,并提出一种细粒度的冗余检测方法Tscope。该研究方法能够从用例描述中自动化识别测试要素,通过测试要素之间存在的关联关系将测试用例分解为若干个语义元组。通过对比元组中测试要素的差异,来实现细粒度的测试用例冗余检测。 

  研究成果以“Putting Them under Microscope: A Fine-grained Approach for Detecting Redundant Test Cases in Natural Language”为题被软件工程领域顶级会议ESEC/FSE 2022录用。该论文的主要贡献者为软件所博士生常志远、博士后李明阳、副研究员王俊杰、研究员王青和工程师李守斌。该研究成果获国家重点研发计划项目支持。 

  Tscope方法流程图