A3--杜铁绳--大语言模型(LLM)在证券行业研发效能方面的应用探索和实践.pdf

1、LLM在证券行业研发效能探索和实践杜铁绳研发效能部负责人杜铁绳国金证券研发效能部负责人，负责项目管理体系、敏捷能力、DevOps能力、开源治理、LLM在研发应用以及与之相关的工具平台建设。先后曾任外企高级项目经理、项目总监、敏捷&DevOps业务线负责人等国金证券研发效能部负责人嘉宾照片目录CONTENTS探索LLM证券行业研发部门应用01 设计AI助手和私有LMM选择02 高效训练高效训练LMM私有专业知识库私有专业知识库03 LMM私有专业知识库对内部员工赋能私有专业知识库对内部员工赋能04 01探索探索LLM研发效能领域研发效能领域应用应用研发部门常见问题 1.跨部门、跨团队沟通不知道该

2、找谁？2.项目和研发流程、标准不熟悉不知道该问谁？3.知识、技巧分享成本高，效果差？4.员工福利、报销等标准、流程不熟悉，占用员工时间？LLM给出了新选择维度维度能力能力示例示例查询知识问答什么是证券公司次级债务，具体如何分类？列出唐宋八大家所属朝代及其代表作整合内容生成撰写一份国金指数的广告文案详细列出以大型语言模型为主题的综述论文的提纲以“春天”为主题创作一首押韵的诗歌语义理解两个人正常交谈，其中一人夸赞对方办事能力强，对方回答“哪里，哪里”。此处的“哪里，哪里”是什么意思？代码编程写一个从User表提取Age字段大于20的所有数据的SQL语句检查以下代码段：，找出任何可以优化以提高性能的

3、部分，并提出如何提高代码可读性的建议。推理逻辑推理小明的妻子生了一对双胞胎。以下哪个推论是正确的？A.小明家一共有三个孩子。B.小明家一共有两个孩子。C.小明家既有男孩子也有女孩子。D.无法确定具体情况。数学能力鸡兔同笼代数，几何问题函数计算绘图LLM在研发领域可能应用1.需求分析2.沟通协作3.生成代码4.代码评审5.单元测试6.接口测试7.持续集成8.持续部署9.知识和技能分享10.02设计设计AI助手和私有助手和私有LMM选择选择LLM选择考量1.安全合规2.可拓展专有知识域3.成本投入可控4.容易学习使用5.快速见到效果智能员工助手支持多种GPT可选模型接入实现员工办公环境使用AIGC

4、工具通过智能交互问答，帮助员工提升工作效率对问答内容进行合规审查及敏感词过滤基于大模型技术搭建智能员工助手：智能员工助手企业微信OA Azure OpenAI数据仓库星火，文心等FinGPT探索新的生产力拓展提升员工工作效率减少员工文字工作时间提高开发效率及交付质量效果：AI助手功能定位n界面功能角色定制；模型选择；敏感过滤；权限管理n以AI助手为AI中台建设的切入点推动外挂式AI算法的推广；AI需求汇总的媒介；启发公司员工的数字化思维；LMM的使用方式FinGTPLMM的技术路线n通用大模型+领域知识库+应用插件利用外部知识和应用插件来增强大模型面对金融问题的对话能力，减轻大模型的幻觉问题（

5、即生成具有事实性错误的内容）优点是对话效果不错、训练成本较低（算力规模约2块A100显卡、机构私有数据）缺点是多轮对话能力有限ChatGLM2本地化部署及测试nChatGLM2由智谱AI及清华KEG实验室发布，开源且免费商用，60亿参数在保留初代模型对话流畅、部署门槛较低等特性的基础之上，性能更强大，推理速度提升42%ChatGLM2专门针对中文问答和对话进行优化，但是在金融领域的表现有待提高领域知识库+应用插件的路线有利于金融大模型快速落地n未来会是大小模型并存大模型部署资源需求高，面向资源不足的实际场景就需要提升小模型现有实验表明，专业领域小模型在特定任务上可以比肩大模型n领域知识库+应用

6、插件路线可行的同时，有更好的性价比自研基模型预训练成本高昂，数据集构建难度大，大部分企业难以负担模型微调可能导致灾难性遗忘，内部专业数据总体体量有限，算力要求不容忽视挂载知识库能使模型对特定领域的语义理解更为准确，解决大模型的“幻觉”问题，提高模型性能nFinGPT使用LangChain构建金融领域知识库以实现大模型提示工程基座大模型需有优秀的泛化能力和适当的参数量：ChatGLM2Langchain+ChatGLM知识仅给授权同事研发管理人力资源财务报销采购管理合规风控网络