复旦大学：大语言模型赋能自动化测试实践挑战与展望报告（54页）.pdf

1、大语言模型赋能自动化测试实践、挑战与展望报告人：董震复旦大学计算机学院目录目录基于大语言模型的等价类划分测试技术基于大语言模型的等价类划分测试技术背景介绍背景介绍基于大语言模型的测试输入增强基于大语言模型的测试输入增强基于大语言模型的场景测试用例生成基于大语言模型的场景测试用例生成基于大语言模型的跨基于大语言模型的跨APPAPP测试用例迁移测试用例迁移案例分享案例分享挑战与展望挑战与展望一背景介绍背景介绍大语言模型（LLM）的演变图片来源：Yang,J.,Jin,H.,Tang,R.,Han,X.,Feng,Q.,Jiang,H.,.&Hu,X.(2024).Harnessing the po

2、wer of llms in practice:A survey on chatgpt and beyond.ACM Transactions on Knowledge Discovery from Data,18(6),1-32.大语言模型（LLM）的应用大语言模型（LLM）应用案例MetaGPT：一句话让LLM为你实现软件开发图片来源：Hong,S.,Zheng,X.,Chen,J.,Cheng,Y.,Wang,J.,Zhang,C.,.&Wu,C.(2023).Metagpt:Meta programming for multi-agent collaborative framework

3、.arXiv preprint arXiv:2308.00352.软件测试全流程中的大语言模型（LLM）需求分析需求分析测试计划制定测试计划制定测试设计与实现测试设计与实现l 测试输入生成l 测试用例生成l Oracle 生成测试执行测试执行l 缺陷预测与分析l 回归测试用例生成缺陷管理与回归测缺陷管理与回归测试试l 结构化报告生成测试报告与评测试报告与评估估l 业务逻辑分析l 测试场景分析l 边界条件识别l 测试计划生成l 风险预测l 测试优先级建议l 测试集优化与选择l 测试用例执行l 反馈分析与策略调整二案例分享案例分享01基于大语言模型的基于大语言模型的等价类划分测试技术等价类划分测试

4、技术等价类划分1.用程序读取 3 个整数，分别代表三角形的边长2.程序显示此三角形是等边三角形（三条边都相等）、等腰三角形（只有两条边相等）或不等边三角形（三条边都不等）等边三角形等腰三角形不等边三角形测试这个程序需要多少个测试用例？示例：三角形测试等价类划分输入测试域基本类三角形细分类根据“输出”情况细分“三角形”主类测试用例代表值：代表所有“等腰三角形”错误处理的测试非三角形不等边三角形等腰三角形等边三角形大语言模型的常识推理与代码理解能力用于判断三角形的程序代码用于判断三角形的程序代码大语言模型对代码的理解大语言模型对代码的理解大语言模型具备常识推理与代码理解的能力大语言模型具备常识推理

5、与代码理解的能力解释代码含义利用大语言模型进行等价类划分测试任何一对边的和不大于第三边任何一对边的和不大于第三边三条边都相等三条边都相等有两条边相等，第三条边不同有两条边相等，第三条边不同三条边都不相等三条边都不相等用于判断三角形的程序代码用于判断三角形的程序代码(x=1,y=2,z=3),.(x=3,y=3,z=3),.(x=4,y=4,z=5),.(x=3,y=4,z=5),.大模型划分出的等价类大模型划分出的等价类大模型生成的测试输入大模型生成的测试输入等价类划分为每个等价类生成输入由于大语言模型具备常识推理和代码理解能力，我们可以利用其分析程序代码，自动划分适当的等价类自动划分适当的等

6、价类。随后，为每个等价类生成若干输入为每个等价类生成若干输入，从而提升输入生成的效率。基于大语言模型的等价类划分测试工具由于大语言模型具备常识推理和代码理解能力，我们可以利用其分析程序代码，自动划分适当的等价类自动划分适当的等价类。随后，为每个等价类生成若干输入为每个等价类生成若干输入，从而提升输入生成的效率。输入参数的实例化代码等价类划分结果输入参数的构造函数为每个等价类生成输入划分等价类程序源代码程序源代码工具效果我们从 10 个第三方开源库中选取了共 2205 个方法对工具进行了性能测试，并设计对比实验。结果如下：覆盖到的分支数生成的有效输入总数基于大语言模型的等价类划分测试工具19,1