江季-为NPC注入灵魂大模型在游戏场景中的应用.pdf

1、为NPC注入灵魂大模型在游戏场景中的应用江季|网易伏羲实验室演讲嘉宾江季网易伏羲实验室高级人工智能工程师江季，北京大学毕业，Easy RL：强化学习教程（GitHub Star 8.3k，国家图书馆收录，人民邮电出版社季度好书，人邮异步社区度畅销新书）作者，百度飞桨AI Studio EASY RL 强化学习-案例与实践课程设计者，开源项目“李宏毅深度学习教程 leedl-tutorial”设计者（GitHubStar 9.9k，李宏毅老师推荐），Hugging Face官方强化学习课程译者，人邮优秀作译者，人邮异步社区年度影响力作者，Datawhale成员。主要研究方向为强化学习、机器人等。

2、目 录CONTENTS1.当游戏遇上大模型2.智能NPC3.多模态AI4.小结与展望当游戏遇上大模型PART 01大模型定义大模型:参数超过10亿、具备泛化能力的模型小模型大模型建模方式单模态(文本、图像)多模态参数量一般不超过千万10亿以上应用场景多样但少涉及生成语言类、多模态泛化能力强弱训练对齐成本低、冷启动成本高对齐成本高、冷启动成本低推理速度快、准确率高速度慢、准确率低大模型现状语言生成图像生成音频生成视频生成通用大模型传媒电商电商通信行业大模型行业数据微调手段通才专才从专业小模型到通用大模型，再到行业大模型大模型现状23,23%58,58%11,11%2,2%6,6%全球访问前百的各

3、类AI应占图像类本编辑游戏类代码编程其他文本编辑类最多，图像类次之，其中游戏占比 约10%好游戏不只是娱乐探索建造文化认知情感体验思维策略好游戏不只是娱乐游戏是推动人工智能技术发展进步的重要手段之一类型丰富：适用各类问题建模场景多样：在不同场景研发有利于推动模型的通用性模拟环境：简单环境验证快速，复杂仿真的环境也能迁移到实体大模型带给游戏的革新更生动的NPC交互多模态智能NPCPART 02NPC应用场景开启对话玩家发起与NPC的对话NPC主动与玩家对话任务引导让玩家帮忙参与游戏任务触发行为通过与NPC对话触发特定行为任务成果获取任务的游戏奖励NPC应用场景剧情NPC服务NPC陪伴NPC推动游

4、戏剧情发展提供各种服务(商人)或者击杀获得荣誉提供情绪价值NPC应用场景自主行为日程安排，跟随环境变化而变化完成各自的目标与其他NPC之间互动斯坦福小镇传统NPC对话树行为树开发复杂，维护困难；体验单调，实时性差智能NPC人物设定语境/心境自主行为交互记忆个性引导游戏世界观正确价值观根据心情变更语气根据语境不同反应行为风格彰显个性与玩家的聊天记忆基于上下文作出不同反应回答游戏玩法根据玩家情况“因材施教”大模型NPC智能NPC构造思路Prompt设计【人物简介】你叫小明，是一个乐观开朗的年轻侠客【心情】高兴(说话常常以”哈哈”结尾)【样例回答】口头禅等【世界观】符合武侠世界观【当前话题语境】天气

5、、对方心情【玩家意图识别】玩家正在请求帮忙找人【与玩家的回忆】曾于玩家一起破了冤案【安全模块】色情、犯罪、不当价值观静态信息动态信息持久化记忆预设记忆：儿时经历等对话记忆：当前上下文，几天内内对话线索记忆：当前环境感知引发的伏笔线索效果呈现传统NPC“对话就送奖励”新型智能NPC比如这位千金大小姐，说她穷这种“激将法”可能更有用效果呈现比如偷NPC的鱼，被人目击了，会被官府悬赏，引发官府或其他捕快玩家追捕，甚至是长期被举报多模态AIPART 03多模态的重要性很多应用场景如果没有多模态技术支持几乎难以实现，尤其是在需要处理多种类型数据的领域，例如医疗、机器人、电商、零售、游戏等。多模态医疗多模

6、态的重要性在游戏场景中,不仅需要理解文字(对话)，还需要理解图像(帮助玩家识别关键物品或者信息)数据模态字节序列：0101文本：本质上也是字节序列音频，可以转文本，也可以转图像(音谱图)图像：可以转化为向量，并进一步被转换为一串文本词元（Token）序列视频：音频+图像其他模态：三维素材、气味与触觉图像编码多模态任务视觉语言理解分类与基于文本的图像搜索生成可以是单模态如文本、图像等多模态案例AI语音队友多模态案例AI语音队友语音识别语义理解图像理解搜堆集火语音文字图像语音与文