A2--叶佳成--扩散语言模型.pdf

1、扩散语言模型叶佳成 香港大学博士叶佳成香港大学博士目前香港大学三年级博士在读，师从于孔令鹏和余涛教授。曾就读于复旦大学FudanNLP实验室师从于张奇教授。在人工智能领域国际顶级会议和期刊（如ICML、NeurIPS、ICLR、ACL、EMNLP、TASLP等）以第一作者身份发表文章十余篇，被引用次数达到1300余次。主要研究包含大语言模型、数据合成和扩散语言模型，主导研发了扩散语言模型Dream 7B。目录CONTENTS010203扩散语言模型背景介绍基于扩散语言模型的推理规划规模化扩散语言模型PART 1扩散语言模型背景介绍什么是扩散语言模型？5Jiacheng Ye,et al.Dre

2、am 7B.https:/hkunlp.github.io/blog/2025/dream自回归语言模型扩散语言模型为什么扩散语言模型？6https:/www.inceptionlabs.ai/introducing-mercuryMercury Coderby Inceptionlabs 2025.02.27速度为什么扩散语言模型？7https:/deepmind.google/models/gemini-diffusion/Gemini-diffusionby Google2025.05.21 速度为什么扩散语言模型？8推理规划迭代纠错全局隐式搜索https:/lilianweng.git

3、hub.io/posts/2021-07-11-diffusion-models/9背景知识 连续扩散模型 前向加噪过程 后向生成过程10 前向加噪过程 后向生成过程背景知识 连续扩散模型11Xiang Lisa Li,et al.Diffusion-LM Improves Controllable Text Generation,NeurIPS22.背景知识 连续扩散模型12连续扩散模型背景知识 离散扩散模型离散扩散模型13噪声函数:“Multinomial”“Absorbing”Jocab Austin,et al.Structured denoising diffusion models

4、 in discrete state-spaces.In NeurIPS21.背景知识 离散扩散模型“Multinomial”“Absorbing”背景知识 离散扩散模型训练目标：PART 2基于扩散语言模型的推理规划规划距离(Planning Distance;PD):为了达到目标位置需要提前多少距离开始规划，用于衡量规划任务的难度16Jiacheng Ye,et al.Beyond Autoregression:Discrete Diffusion for Complex Reasoning and Planning.In ICLR25.规划任务自回归模型难以执行规划距离大于1的任务自回归

5、模型需要更多数据去解决同样规划距离的问题离散扩散模型通过构建多个相关子目标，隐式进行多视角学习17离散扩散模型中的难目标学习18离散扩散模型在Countdown任务的表现SudokuBoolean satisfiability problem(SAT)19离散扩散模型在Sudoku和SAT任务的表现20离散扩散模型-隐式搜索？Shunyu Yao,et al.Tree of Thoughts:Deliberate Problem Solving with Large Language Models.NeurIPS234+10=14,14-12=2,13*2=243*13=39,9+10=19,

6、39-19=241+10=11,13-11=2,7*2=2421Jiacheng Ye,et al.Implicit Search via Discrete Diffusion:A Study on Chess.In ICLR25.无需显式搜索的国际象棋22https:/lichess.org/diffusearchv0无需显式搜索的国际象棋Jiacheng Ye,et al.Diffusion of Thought:Chain-of-Thought Reasoning in Diffusion Language Models.In NeurIPS242