1、大语言模型中的事实性幻象中国人民大学 李军毅1背景2人工智能历史上最为强悍的“信息助手”背景3“解决”了很多传统方法的痛点问题背景 ChatGPT等大模型的问题 Knowledge Recency:大模型内部知识存在时间滞后性 Reasoning Inconsistency:大模型的推理过程和结论存在不一致 Numerical Computation:大模型的数值计算能力有限 HHa al ll lu uc ci in na at ti io on n:大模型容易编造事实、生成幻象文本.4大模型幻象“幻象”的出现 影响大模型输出的真实性和准确性 幻象文本可被扩散为互联网语料，干扰大模型的训练5

2、https:/ 具体表现 违背已有事实6大模型幻象 具体表现 前后说法不一致7两磅的羽毛和一磅的石头哪个更重？两磅的羽毛和一磅的石头一样重。重量取决于数值大小，在这个例子里，两磅大于一磅。大模型幻象 具体表现 编造事实8不存在请提供有关社会认知理论的书籍列表存在但作者错误不存在存在但作者错误幻象类型 传统自然语言生成任务中的幻象类型 Intrinsic Hallucinations：生成文本与source矛盾 e.g.,在摘要任务中，摘要与文档内容矛盾 Extrinsic Hallucinations：生成文本无法被source验证（可能为真或假）e.g.,在摘要任务中，摘要内容在文档中不存在

3、 在open-ended生成任务中，这类幻象可能会丰富文本信息 GPT-4的幻象分类 Open-domain hallucinations 不依赖参考资源，e.g.,ChatGPT用户的真实查询 Closed-domain hallucinations 依赖特定参考资源,e.g.,摘要9Survey of Hallucination in Natural Language Generation幻象类型 大模型中的事实性幻象 实体错误 关系错误 事实不完整 时效错误 过度表达 无法验证10The Dawn After the Dark:An Empirical Study on Factuali

4、ty Hallucination in Large Language Models幻象出现的可能原因（before LLMs）幻象原因 数据集合原因 启发式的数据收集方法可能导致source与target无法对应 e.g.，WIKIBIO将Wikipedia第一句话作为描述infobox的文本，但是有研究发现62%的句子包含infobox中没有的信息（无法验证的信息）某些任务的source与target天然地不一致，例如开放式对话，这类任务数据的target可能包含许多用于增加内容多样性的额外信息 任务本身“鼓励”幻象 无法避免的extrinsic hallucination11Survey

5、of Hallucination in Natural Language Generation幻象出现的可能原因（before LLMs）幻象原因 模型原因 曝光偏差（exposure bias）：训练采用teacher-forcing基于ground-truth，测试基于模型生成的文本可能会累积生成误差 参数化知识偏差（parametric knowledge bias）：LLM更倾向于使用训练时存储在参数中的知识（可能出错），而非输入中包含的内容12Survey of Hallucination in Natural Language Generation幻象出现的可能原因（before

6、LLMs）幻象原因 模型原因 不充分的表示学习：encoder的语义理解能力会影响幻象的出现，当错误地学习数据表示会导致生成的错误 不恰当的解码方式：decoder采用某些解码策略，例如top-k采样，在增加多样性的同时也会提高幻象出现的概率13Survey of Hallucination in Natural Language Generation大模型时代 训练数据 规模更大、领域更广 训练方式 预训练-指令微调-人类对齐 推理方式 提示、上下文学习、思维链14Reinforcement Learning from Human Feedback:Progress and Challeng