A1--甘磊磊--数据与知识双轮驱动的行业大模型研究与应用.pdf

1、甘磊磊，研究员 浙江大学软件学院甘磊磊浙江大学计算机科学与技术学院 软件学院研究员，工学博士长期从事自然语言处理、大模型及其赋能学科交叉等方向的研究，相关研究成果发表在ACL、AAAI、EMNLP、NAACL、COLING和TMLR等人工智能领域高水平会议和期刊上，获2024年度中国人工智能学会吴文俊人工智能科学技术奖科技进步一等奖，受邀担任ACL、EMNLP领域主席，TKDE、TDSC、TIFS、TASLP等计算机领域高水平期刊审稿人，以及ACL、AAAI、COLM、EMNLP、IJCAI等计算机领域高水平会议程序委员会委员，承担或参与了国家重点研发计划、国家自然科学基金项目、浙江省“尖兵领

2、雁+X”计划项目、华为MindSpore学术奖励基金、阿里巴巴研究创新计划、华为财经、蚂蚁金服、网商银行等多个国家及企业课题。提纲n 数据与知识双轮驱动的战略价值n 以数据为中心的大模型后训练n 领域知识增强的大模型可信推理n 双轮融合的行业大模型研发与实战n 典型示范应用成效验证4以大模型为代表的人工智能浪潮正在兴起5DeepSeek横空出世,各项指标逼近或超越世界一流大模型6l 回顾其发展历史，2024年1月，发布第一版大模型-DeepSeek LLM，这个版本使用传统的Transformer架构，但在训练方面已经明显体现出DeepSeek团队通过不断优化训练策略，达到节约成本，提高效率的

3、思想，这点也在后续的模型迭代中被发扬光大。l 2024年5月，DeepSeek-V2发布，从这一代开始，DeepSeek模型开始使用混合专家(MoE)架构，这是传统Transformer架构的一种改进和扩展，该架构使DeepSeek模型能以更低的计算成本进行更复杂的推理，极大提升了模型的性能。l 2024年12月，DeepSeek-V3上线并开源，V3版本对MoE架构进行了进一步优化，在维持低训练成本的同时，稳定性与多方面性能表现都达到了与领先闭源模型相当的水平。l 2025年1月，DeepSeek-R1正式发布，R1模型的推理能力得到极大加强，与OpenA1-o1模型不相上下，且推理过程完全

4、透明，因此在全球范围备受关注。DeepSeek横空出世,各项指标逼近或超越世界一流大模型 领域数据收集困难，涉及隐私/合规要求 领域数据通常具有多模态特性、融合理解困难 领域数据推理标注（需专家知识）成本高昂数据层面 领域知识体系庞大且异构，难以表示 大模型内部知识表示与演化机制不明 领域知识更新频繁，知识注入不充分知识层面 多源推理复杂，推理过程存在幻觉 领域知识与推理过程难以融合 推理成本高，存在过度推理倾向推理层面迫切需要研制面向知识密集行业的领域大模型技术，帮助企业低成本快速构建、并部署自身专属的大模型，形成企业的核心竞争力理解大模型知识机制与提升领域知识能力增强大模型领域深度知识推理

5、能力数据支撑克服领域数据收集、标注与融合难题增强推理知识注入 构建面向行业的领域推理大模型面临三个挑战拟解决问题数据与知识双轮驱动的行业大模型p 围绕构建领域推理大模型在数据、知识和推理等层面的三大挑战，研究领域推理数据合成与跨模态融合学习技术，领域大模型知识机制与知识注入技术，领域知识增强的大模型动态深度推理技术，构建数据与知识双轮驱动的垂直领域推理大模型，并在金融、电力、法律等重点行业开展应用示范。数据与知识双轮驱动的行业大模型数据和知识双轮驱动的行业大模型研究与应用在 金 融、电力、法 律 等重 点 行 业 开展应用示范提纲n 数据与知识双轮驱动的战略价值n 以数据为中心的大模型后训练n

6、 领域知识增强的大模型可信推理n 双轮融合的行业大模型研发与实战n 典型示范应用成效验证 研究动机1.在法律、医疗等高风险领域，大模型的“幻觉”问题阻碍了其提供准确且有用的答复；2.目前尚缺乏针对法律领域答案幻觉现象的自动评估指标、基准测试以及相应的解决方法研究。LegalHalBench:大语言模型法律事实性幻觉评测基准，COLING 2025 算法步骤1.提 出 了 法 律 问 答 幻 觉 基 准LegalHalBench；共包含约3976个问题，涵盖1670条法条，来自与刑法、民间借贷、婚姻、继承和道路安全相关的法律。2.提出了一种面向困难样本的迭代式直接偏好优化方法（Hard samp