2024峰会-领域大模型的挑战与机遇^7从构建到应用.pdf

1、DataFunSummit#2024领域大模型的挑战与机遇：从构建到应用梁家卿 青年副研究员复旦大学大数据学院复旦大学知识工场实验室01背景预训练语言大模型与大模型时代的知识工程02大模型的领域适配如何构建领域对齐的大模型？03大模型的能力提升如何增强大模型在领域应用中的特别能力？04大模型的协同工作如何让大模型在现有流程中发光发热？目录CONTENTDataFunSummit#202401背景“Given the breadth and depth of GPT-4s capabilities,we believe that it could reasonably be viewed as

2、an early(yet still incomplete)version of an artificial general intelligence(AGI)system”强大的大模型底座知识能力 大模型蕴含丰富的世界知识，内涵大量人类常识人工智能之父 MeCarthy：尽管自上世纪 50 年代以来，常识知识一直是科研工作者重点关注的研究领域，但在 AI 众多的分支中(如:模式识别和推理)，该领域是最难解决与突破的分支之一。大模型是否终结了知识工程？大模型的常识推理能力 大模型是目前唯一能利用人类常识进行开放推理的技术 现实应用中存在大量变数，不能教条式地机械执行 传统常识库较小且难以用于实

3、际推理 传统规则系统无法事先事无巨细地列举各种特例规则ConceptNet，过于抽象，难以匹配现实场景年龄错误等潜藏矛盾难以事先制定规则避免从封闭到开放开放世界的理解能力大模型Agent可以执行多步复杂任务 大模型具备一定的完成复杂任务所需的动作规划与执行能力Ghost in the Minecraft:Generally Capable Agents for Open-World Environments via Large Language Models with Text-based Knowledge and MemoryOpenAI Code Interpreter可以通过多步编码逐

4、步完成各种复杂任务大模型Agent在Minecraft中自动采集材料、制造工具并最终构建了所有物品大模型在领域落地仍然遇到了诸多挑战推理成本能力缺陷难以协同大模型的推理成本限制其应用 大模型推理需要大量时间、算力成本，使其难以用在大规模重复应用中在实际应用中，大小模型协同、按需使用大模型尤为重要Bert模型，每个句子0.05s以内（3090）百亿模型，每秒10-20个token（3090，使用投机采样）100000个句子需要138h千亿模型，调用API，平均每100个词0.03rmb 100000个句子需要3000r和大量时间对于大批量任务，百亿、千亿模型推理成本无法接受 文本规模较大，智能要

5、求相对低 大模型蒸馏小模型知识抽取 需要常识推理，传统模型无法解决 必须大模型知识冲突验证 需要智能，调用频次较低 大模型智能问答大模型在复杂决策场景仍有缺陷 ChatGPT比较好地实现了机器与人类的开放式对话，也就是开放式闲聊 然而实际应用场景多需机器的复杂决策能力，复杂决策是领域应用根本特点故障排查、疾病诊断、投资决策等严肃应用场景丰富的应用知识复杂的决策逻辑宏观态势的研判能力综合任务的拆解能力精细严密的规划能力复杂约束的取舍能力未知事物的预见能力不确定场景的推断能力从开放闲聊到复杂决策仍有漫长道路在ToB应用中需要协同能力和可控性 定位：具备各种功能的多功能智能引擎 各种企业流程已经定型

6、，目前大模型能力仍不可能直接替代企业整个部门 大模型和现有员工现有流程的协同是重中之重系统流程设计如何设计大模型在现有企业流程中的角色？企业内部知识如何往大模型中注入企业私有的内部知识，避免幻觉现象？协同协议和接口如何制定大模型和企业现有流程/工具的接口和协议？如何控制大模型的开放能力，使其稳定以指定协议输出？DataFunSummit#202402领域适配领域模型的持续预训练本质上是数据问题 相比于训练模型的流程，数据的收集和配比更为重要 模型微调方法已经高度同质化和傻瓜化数据选择+数据配比混入通用领域数据以避免灾难性遗忘收集并选择有效的领域知识借助大模型能力进行数据增强借助大模型能力或环境