从客户痛点到工程化产品-火山方舟 PromptPilot 落地实践启示录.pdf

1、从客户痛点到工程化产品：火山方舟PromptPilot落地实践启示录姓名：王铁飞火山引擎大模型算法工程师AI下半场AI下半场:落地落地落地！大模型商品化AI服务普及化场景应用悖论目录010203大模型应用落地的挑战火山方舟PromptPilot的破局之道：痛点驱动的产品能力与实践路径沉淀与前行：从服务到产品的工程化启示与未来展望01大模型应用落地的挑战大模型应用落地的挑战清晰表达需求模型能力边界上下文动态适应大模型应用落地的挑战 清晰表达需求用户的需求是场景定制的需求必须由用户自己来定人脑中的意图和评估标准有个通过反馈交互逐渐清晰的过程转化为模型能理解的具像化目标提示词、评估标准、评测用例更强

2、的模型解锁更复杂任务结构化表达更难也更有价值互动建模：自动为主，互动为辅大模型应用落地的挑战 模型能力边界大模型应用本质是寻找定制场景的模型能力边界人工摸索大模型能力边界反复调整提示词过程非常痛苦自动化提示词工程是一个用户意图指引的搜索问题懂上下文可执行、可验证、联动训练核心：自动大模型应用落地的挑战 上下文动态适应大模型应用很多是开放式人类高级思维问题大模型的上下文是多样、多变的开发中、上线后都有很多想象不到的Badcase出现Badcase的持续检测评估标准持续迭代上下文自适应闭环联动目录010203大模型应用落地的挑战火山方舟 PromptPilot 的破局之道：痛点驱动的产品能力与实践

3、路径沉淀与前行：从服务到产品的工程化启示与未来展望火山方舟 PromptPilot 的破局之道：痛点驱动的产品能力与实践路径互动建模：从需求到目标DomainStudioAI EngineeringAI 辅助用户反馈优化的提示词场景适配的modelSolution评估标准Badcases 回流自动：从目标到SolutionTools,Context EngineeringSolution OutAutoPEPost-train联动精调闭环：Badcase 检测任务定制Eval Model评估服务Run Time MetricProbe API自适应提示词，数据集评估集构建PromptPilot

4、 详细详细揭秘：驱动揭秘：驱动 AI 进化的能力引擎进化的能力引擎DataEngineeringPrompt优化和联动精调闭环Badcase 检测SolutionPrompt 臻化联动舱智能闭环Badcase洞察站AI方案生成器数据智擎工坊互动建模：从需求到目标自动联动闭环General的解决方案PromptPilot 详细详细揭秘：驱动揭秘：驱动 AI 进化的能力引擎进化的能力引擎Question EngineeringPrompt生成变量生成(用户素材或者问题)问题工程知识库辅助Prompt生成知识库辅助变量生成(素材内容生成)知识库辅助Answer生成Context Engineerin

5、g上下文工程Answer生成Answer EngineeringSOP的生成模型回答答案工程提取标注意图自动生成评估标准Data EngineeringPromptPilot 详细详细揭秘：驱动揭秘：驱动 AI 进化的能力引擎进化的能力引擎闭环：Badcase 检测AutoPE（自动提示词调优）联动精调probe API feedback API 通过 probe API 对线上task的 badcase 进行闭环处理，结合前两个阶段建立的评估标准，提供自适应的 badcase 分析与提取服务。此外，评估标准也会随着生产环境的变化动态演进，确保大模型应用能够持续优化并具备自适应能力，从而不断提

6、升性能和稳定性。以 project 的概念管理相关 tasks，并通过feedback API 对线上部署的端到端 project 进行用户反馈(或应用指标）采集，分析端到端用户反馈(或应用指标)与 project中 各个 tasks 性能之间的潜在关系，帮助用户有针对性地进行性能调优。视觉理解视频再创GeneralSolutionAI 方案生成器智能闭环Badcase 洞察站Prompt 臻化联动舱Prompt优化和联动精调Solution数据智擎工坊数据智擎工坊：Question Engineering根据用户的任务描述生成基础，可用的 PromptPrompt 生成问题：很多用户都有需求