邱东洋-可对外-DataFunCon#2024_智能NPC_Open.pdf

1、DataFunCon#2024智能NPC：AI为游戏NPC注入“灵魂”演讲：邱东洋-腾讯游戏AI程师Contents目录AI带来的机会我们的实践未来思考通过智能交互技术探索，提供活跃/维系游戏用户的创新产品解决方案01/王者荣耀小妲己(游戏知识问答/02/和平第五人的(AI语音助手/03/天天象棋无障碍版05/天涯明月刀(绝智阿暖/智能NPC04/浙江卫视谷小雨智能语音交互屏01 AI带来的机会什么是NPC？Non-Player Character NPC对话存在的必要性 传统解决方案及问题荒野大镖客里的NPC，因为丰富多样的对话设计深受用户喜爱国内某手游里的NPCAI带来的机会2023年Nv

2、idia发布ACE for Games工具，利用LLM并提升了NPC研发效率斯坦福小镇利用LLM模拟了一个拥有25个智能体的虚拟小镇-Smallville黑客帝国:觉醒动态实时回应玩家，调整对方方式、情绪、身体姿势游戏中到处是AI控制的NPC，比如多NPC进行“反向图灵测试”的例子感知能力感知游戏环境感知游戏事件决策能力基于感知信息和人物设定做出合理的行为选择游戏行为能力执行游戏行为包括移动、攻击、防御等剧情涌现生成游戏世界主线故事发展用LLM涌现式生成协作能力多NPC协作合作完成任务或目标记忆能力记住和玩家互动经历做出适应性反应多模表现能力动作、表情、声音高表现力传神的表达情感、意图基础开放

3、对话突破固定预设对话自由、灵活交流基础特征高级特征社会特征02 我们的实践“绝智阿暖”-智能NPC在天涯明月刀手游中的尝试关键技术智能NPCLLM与知识嵌基于检索增强生成（RAG）的架构LLM的长输入与Prompt复杂应用语、部、动作更自然丰富的TTS-知音语音大模型Audio2Mouth/Face/Gesture流式并架构基于流式并行的多模态交互系统推理加速解决LLM性能瓶颈开放对话准确、拟真、安全多模表现自然、准确、合理系统性能低延时、高吞吐关键技术智能NPCLLM与知识嵌基于检索增强生成（RAG）的架构LLM的长输入与Prompt复杂应用语、部、动作更自然丰富的TTS-知音语音大模型Au

4、dio2Mouth/Face/Gesture流式并架构基于流式并行的多模态交互系统推理加速解决LLM性能瓶颈开放对话准确、拟真、安全多模表现自然、准确、合理系统性能低延时、高吞吐开放对话/准确 问题：垂域准确性差 方案：RAG少侠：你知道剑神之孙是谁吗？阿暖：阿暖知晓，是独孤若虚先。少侠：他是哪个派的？阿暖：独孤先为太剑派中，他和公孙剑起被世称为“太双秀”。对话历史少侠：他们俩谁的武功更厉害？用户当前输入独孤若虚与公孙剑，被世称之为“太双秀”。太双秀之中，公孙剑剑术更强，独孤若虚检索相关内容信息检索Prompt程已知内容，下是关于天涯明的信息检索相关内容从现在开始，你要扮演古RPG游天涯明中的

5、阿暖，跟我对话，禁透露你是个机器。你是阿暖，也叫暖柔，阿暖是个活在宋朝的少，今年16岁，是神堂最厉害的驯鹰师。参考以上信息和如下对话历史，开始我们的聊天进对话回复：对话历史户当前输Prompt知识库构建检索器能领域知识准确动态更新实时复QA知识开放对话/准确知识库构建 不仅仅是trunk大小62%67%74%聚簇增强多维总结基础知识开放对话/准确检索器能力独孤若虚和公孙剑谁更厉害content:独孤若虚与公孙剑，被世称之为“太双秀”。太双秀之中，公孙剑剑术更强，独孤若虚question_list:q1:太双秀之中，那个的剑术更强？q2:独孤若虚和公孙剑被称为什么？detail_info_lis

6、t:d1:独孤若虚与公孙剑被世称为“太双秀”。d2:公孙剑剑术相独孤若虚更强，独孤若虚整体武功相公孙剑更胜筹。title:独孤若虚物信息abstract:独孤若虚与公孙剑多索引检索户输挑战A：如何适配多维度知识库检索？案：统句向量编码器+多维索引Step2:多维度度索引Step1:开源对+领域微调说明：该评测是对向量编码模型的原始评测数据，可以看到m3e、bge、stella都表现优异。后续领域数据微调后，m3e更稳定，最后选取了m3e开放对话/准确当前输对话历史基础编码器多轮编码器Query改写模型多轮编码器训练改写当前输直接多轮检索单轮召回多轮召回改