陈小红-大语言模型赋能的证券领域业务规则规约与测试用例自动生成方法.pdf

1、大语言模型赋能的证券领域业务规则规约与测试用例自动生成方法陈小红 华东师范大学演讲嘉宾陈小红软件需求工程践行者华东师范大学软件工程学院，副教授，硕士生导师，主要研究方向为需求工程、形式化方法以及IoT最终用户编程。主持并参与了多项国家自然科学基金项目、重点研发、863、973项目以及省部级项目，主要工作包括需求建模与分析、需求形式化验证、基于投影的需求问题自动分解、基于因果关系的约简与基于用户意图的IoT最终用户编程、智能系统的需求确认等，在国内外知名期刊会议RE、TITS、TCAD、SCP、软件学报等发表论文50余篇，成果应用于轨道交通、航空航天、汽车、证券、智能家居等领域。目 录CONTE

2、NTS1.背景2.规约与测试用例生成框架3.大语言模型微调4.生成方法细节5.方法评估与实践6.总结背景PART 01背景业务规则在证券领域扮演着关键角色，它们是一系列指导和控制证券市场运作的规定和指南。各大证券交易所都有一套详细的业务规则文档来定义和约束交易。背景这些业务规则是证券交易系统需求和约束的来源与软件需求相关的部分将被用作交易系统软件需求规约的一部分，以便进行设计、实现和验收测试从自然语言描述的业务规则文档中发现需求，进一步挖掘这些需求之间的关系以形成软件需求规约，以及据此生成测试用例是交易系统开发中的关键步骤问题随着市场的快速发展和监管要求的不断变化，业务规则展现出易变性如何提高

3、业务规则规约和测试生成的效率成为一个关键问题现有工作：人工大语言模型时代，对证券交易所业务规则文档进行智能化分析，并自动化地生成测试用例？LLMs用于规约与测试经验：焦点小组基于大语言模型(LLMs)规约与测试的经验总结8名参与者：2名研究人员担任主持人2名5年以上证券领域测试人员2名1-2年经验证券领域测试人员2名2-3年其他领域测试人员这个主持人首先介绍了焦点小组的目的和形式会议，然后让参与者有时间分享他们自己的经历并讨论。总结了不同领域的人在使用LLMs进行测试时遇到的三个常见问题，包括：（1）对人的要求高。希望在测试等任务中有效使用LLMs的人应该掌握特定知识和提示词技能。（2）不可控

4、和难以处理的输出。LLMs的输出是不可控和难以处理的，这使得生成的测试用例难以复制和有效追踪。（3）有限的领域知识。LLMs所具有的领域特定知识有限，受限于输入的数据。具体示例证券领域业务规则规约与测试用例生成的难点自然语言表示？不受限句式，有很多省略？领域术语多？抽象表示多？显式关系：字面表示？隐式关系：领域知识规则间关系多不仅仅是自然语言处理的问题，还是规约的问题，从抽象到具体可操作规则，需要领域知识的支持不仅仅是自然语言处理的问题，还需要领域知识的支持规约问题：自然语言处理+领域知识我们的工作为了解决上述问题并提高证券领域中交易规则文档规约和测试生成的效率提出了一种结合大语言模型（LLM

5、）与领域知识库的证券领域业务规则自动规约和测试用例生成方法(1)提出了第一个完全自动化的LLM驱动方法，无缝整合人工智能模型和算法，从自然语言表达的业务规则中生成覆盖面广的证券交易软件验收测试用例。(2)实现了提出的方法原型工具LLM4Fin，用于真实世界的交易系统。据我们所知，这标志着第一个行业级别的完全自动化的LLM驱动的业务规则测试应用。(3)我们进行了广泛的评估，展示了其在大约7秒内生成测试用例时，其在业务场景覆盖率上的重大进步，最高可达98.18%。方法框架PART 02具体的问题1.自然语言处理的问题（1）筛选任务交易所官网交易业务规则文档内除了具体交易业务规则描述，还包含业务无关

6、的内容，因此必须要准确识别并筛选出哪些业务规则描述与交易系统业务需求、测试相关。软件需求无关软件需求相关具体的难点1.自然语言处理的问题（2）抽取任务：不受限句式处理，补全，处理大量的领域术语2.规则规约的问题从抽象到具体规则：领域知识规则间关系的深度理解：领域知识方法框架大语言模型微调PART 03分类模型分类的标注准则：领域知识：描述了证券领域的专业知识、术语和概念，用于帮助理解和应用业务规则。需求相关规则：约束了证券系统行为和操作，涉及到时间、数量、价格、成交方式、定价方式等具体细节，可以通过观察、测量和操作来验证其准确性和符合性，是需要软件严格遵循和执行的规则。需求无关的规则：不直接对