《以模型为积木以工程为骨架以用户价值为终点-志鲲.pdf》由会员分享,可在线阅读,更多相关《以模型为积木以工程为骨架以用户价值为终点-志鲲.pdf(25页珍藏版)》请在三个皮匠报告上搜索。
1、超级个体边界探索以模型为积木,以工程为骨架,以用户价值为终点主会场演讲嘉宾郭庆涛(志鲲)ATH千问AI硬件事业部技术专家个体实践介绍实践过程总结二、一、个体实践介绍一、空间空间-语义映射链路断裂语义映射链路断裂用户只想改图片的某一区域手势标注无法转换为像素级指令非专业人士难以写出专业prompt1、前端:用户和大模型交互的翻译官前端的未来在于填补大模型交互的体验鸿沟前端的未来在于填补大模型交互的体验鸿沟视频时空域局部编辑链路缺失视频时空域局部编辑链路缺失用户只想改视频画面里某一区域大模型有能力但用户意图无法传递专业人士也难以写出prompt输出呈现维度坍缩输出呈现维度坍缩大语言模型(Large
2、 Language Model)前端有大量可视化组件用户天然厌倦阅读大段长文本1.1 空间语义映射手势交互转化为像素级编辑指令手绘改图功能演示视频大模型能力F1 双画布分离架构F2 画布截图上传F3 纯手绘上传F4 位置传递F5 元素数据提交前端:B1 双轨策略判断B2 Mask全图处理B3 WebP原图尺寸解析B4 裁剪+缩放B5 调用万相API后端:M1 意图分析 Qwen3-MaxM2 意图理解 Qwen-VL-MaxM3 Prompt优化 Qwen3-MaxM4 万相wanx2.1-imageeditM5 四维质量评估 Qwen-VL-MaxM6 评估反馈驱动Prompt优化大模型:1
3、.2 视频时空域局部编辑将时空信息描述给大模型手绘改视频功能演示视频大模型能力介绍F1 双层画布架构F2 Mask 涂抹绘制引擎F3 Mask 尺寸匹配与上传F4 局部编辑专用视频上传F5 Mask生成提交生成全链路前端:B1 预处理B2 Mask路由B3 视频编辑API封装B4 VideoPreprocessService 格式约束B5 DashScope异步任务协议后端:M1 wanx2.1-vace-plus video_editM2 Mask跟踪分辨率输出规格M3 Prompt增强 局部编辑场景M4 7场景增强与local_edit专属模板大模型:1.3 输出维度升维可视化输出可视化网
4、页功能演示视频空间空间-语义映射工程语义映射工程1.4 前端的AI时代视频时空域局部编辑工程视频时空域局部编辑工程输出维度升维工程输出维度升维工程前端不只要关注页面,AI超级个体要求前端工程师成为用户意图的翻译官和AI能力的导演。通过前端技术将人类的空间直觉精准传达给AI,又将AI的强大能力以人类最易理解的可视化方式呈现。2、用户需要的是什么2.1 一句话生成隔空手势游戏手势游戏自动生成演示视频直接交付成品人脸识别全栈应用自动生成演示视频2.2 一句话生成Android APP自动生成app功能演示视频2.3 一句话生成iOS APP自动生成iOSAPP功能演示视频2.4 用户需要的价值AI编
5、程时代3.1 我们需要一只什么样的龙虾?需要一个 任何人任何设备随时随地安全使用 的在线版3.2 三大核心矛盾的架构解法3.4 AI的进化飞轮用微博、微信、小红书搜索openclaw的信息,整合后写入钉钉文档,文档标题是openclaw最新信息汇总,然后把钉钉文档的链接发到钉钉群,然后发一个钉钉通知,通知内容是文档整理好了,最后用钉钉创建一个今天晚上6点到8点的会议,会议主题是养龙虾功能演示视频3.4 AI的进化飞轮用微博、微信、小红书搜索openclaw的信息,整合后写入钉钉文档,文档标题是openclaw最新信息汇总,然后把钉钉文档的链接发到钉钉群,然后发一个钉钉通知,通知内容是文档整理好
6、了,最后用钉钉创建一个今天晚上6点到8点的会议,会议主题是养龙虾功能演示视频过程拆解实践过程总结二、可复制的经验1、知识库知识库不是越大越好,而是越准越好2、AI Native工程设计成功率的提升,不能只寄希望于靠更好的模型,而是靠更极致的工程架构设计3、prompt的艺术Role 角色定义:你是一位xx专家,专注于xx,擅长能力1Context 输入数据:原始数据或问题描述Task 任务目标:明确的任务目标,说明期望输出Hard Constraints 硬性约束:1.必须遵