中国科学院：大模型与知识图谱前沿综述（35页）.pdf

1、大模型与知识图谱前沿综述陈玉博中国科学院自动化研究所复杂系统认知与决策实验室1977年，在第五届国际人工智能会议上，图灵奖获得者费根鲍姆提出了知识工程的概念，确立了知识工程在人工智能中的重要地位。费根鲍姆图灵奖1994人工智能的基石人工智能的基石2大知识大数据大规模开放域自动化大数据知识工程大数据知识工程研究背景3知识图谱知识图谱是以三元组为基本语义单元，以有向标签图为数据结构，从知识本体和知识实例两个层次，对世界万物进行体系化、规范化描述，并支持高效知识推理和语义计算的大规模知识系统。描述体系知识管理知识推理知识应用知识建模知识获取知识融合生命周期构建应用4知识图谱 VS 大模型 大模型（参

2、数化表示）优点：知识类型开放知识规模庞大自然语言形式的访问不足：幻象黑盒、可解释差缺乏领域/最新知识知识图谱（符号化表示）优点：语义明确准确度高可解释性好规范的存储与更新机制不足：知识类型有限知识规模有限大规模预训练语言模型从语料中自动学到了大量知识，常被看作“参数化知识图谱”大规模预训练语言模型从语料中自动学到了大量知识，常被看作“参数化知识图谱”5NLP会议论文分布知识图谱论文粗略统计语言模型论文粗略统计相关信息统计自ACL Anthology:https:/www.aclweb.org/anthology/6NLP会议论文分布知识获取与知识应用相关的研究最多，知识推理逐渐成为研究的热点相

3、关信息统计自ACL Anthology:https:/www.aclweb.org/anthology/7知识建模知识建模，或知识体系构建，旨在构建一个本体对目标知识进行描述。知识管理知识推理知识应用知识建模知识获取知识融合输入：领域(医疗、金融.)应用场景数据/大模型输出：领域知识本体领域实体类别体系实体类别的属性类别之间的语义关系语义关系之间的关系8知识建模实体本体建模通过描述实体、属性以及关系来刻画客观世界中事物的静态规律。采用微调提示学习等方法探测/激发大模型中的实体本体知识。Peng et al.COPEN:Probing Conceptual Knowledge in Pre-tr

4、ained Language Models(EMNLP 2022)实体、属性及实体之间语义关系实体、属性、实体之间及属性之间语义关系Wu et al.Do PLMs Know and Understand Ontological Knowledge?(ACL 2023)实体Jullien et al.Do Transformers Encode a Foundational Ontology?(2022)9知识建模事件本体建模通过描述事件类型、论元及关系来刻画现实世界中事物的动态变化规律。微调 提示学习。Xu et al.CEO:Corpus-based Open-Domain Event O

5、ntology Induction(2023)Dror et al.Zero-Shot On-the-Fly Event Schema Induction(EACL 2023)Edwards et al.Semi-supervised New Event Type Induction and Description via Contrastive Loss-Enforced Batch Attention(EACL 2023)Huang et al.Semi-supervised New Event Type Induction and Event Detection(EMNLP 2020)事

6、件类型归纳Tang et al.Harvesting Event Schemas from Large Language Models(2023)原子事件模式归纳Li et al.Open-Domain Hierarchical Event Schema Induction by Incremental Prompting and Verification(ACL 2023)事件图模式归纳10知识建模脚本建模利用大模型创建脚本数据集，为专业化小型模型赋予约束语言规划能力。Yuan et al.Distilling Script Knowledge from Large Language Mod