KnowCoder 知码大模型—基于编程的知识抽取、融合与问答.pdf

1、李紫宣大数据分析系统国家工程研究中心中国科学院网络数据科学与技术重点实验室智能算法安全全国重点实验室KnowCoder 知码大模型基于编程的知识抽取、融合与问答YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024目 录一、知码大模型概览二、基于编程的统一信息抽取技术三、基于编程的两阶段知识融合技术四、基于编程的自进化知识问答技术五、总结2YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP202401KnowCoder 知码大模型概览YSSNLP2024YSSNL

2、P2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024知识是实现智能的主要手段知识实现智能行为的主要手段 经典知识工程：经典知识工程（知识库+推理机）深度神经网络：通过学习从数据中习得知识知识如何表示与处理？知识表示：结构+符号知识处理：推理机知识表示：纯文本知识处理：搜索引擎知识表示：模型参数知识处理：模型参数YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024大模型知识表示与处理的问题大模型是知识模型与推理模型的混合体通过统一模型架构以及海量数据训练，实现了知识学习与获取通过ICL、

3、指令学习的方式实现知识的处理与调用 知识的事实性问题：大语言模型的幻觉问题 知识激活的鲁棒性问题：大模型的规则/指令遵循能力 逻辑推理、数值运算问题：基于概率统计的语言模型难以实现基于逻辑推断的逻辑、数值运算 知识更新难问题：海量参数难以更新1 大语言模型中的知识探索.刘康2 大模型时代的知识处理：新机遇与新挑战.陈华钧YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024KnowCoder 知码大模型神经符号知识编程程式推理将部分知识从大模型参数中解耦并结构化，通过程序语言统一表示该部分知识，最终将大模型的推理过程转化为程序

4、执行过程部分世界知识结构化结构知识代码化推理过程程序化Scaling in the service of reasoning&model-based ML Yoshua BengioYSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP2024知识编程：结构知识程序语言化，搭建结构和自然语言的桥梁知识编程：大模型结构化知识结合的新范式class Location(Entity):Geographical entities such as geographical areas and landmasses,bodies of water

5、 def _init_(self,name:str):super()._init_(name=name)class Databreach(Event):an attacker compromises a system and removes data,e.g.,to sell or publish it.def _init_(self,trigger:Trigger=,purpose:ListEntity=,place:ListEntity=,.attack_pattern:ListEntity=,):self.trigger=trigger self.purpose=purpose self

6、.place=place .self.attack_pattern=attack_patternclass Spouse(Relation):People self.head is the spouse of People self.tail.”def _init_(self,head:People=,tail:People=,):self.head=head self.tail=tail大模型面临语言与结构的结合难题自然语言理解能力结构知识理解能力自然语言-结构知识结合能力知识抽取难题知识融合难题知识应用难题YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024Y