《Cursor大规模agentic编程系统的工程实践-吴宇晨.pdf》由会员分享,可在线阅读,更多相关《Cursor大规模agentic编程系统的工程实践-吴宇晨.pdf(13页珍藏版)》请在三个皮匠报告上搜索。
1、Cursor 规模 Agentic编程系统的程实践YUCHEN WUAgent 质量与性能 Cursor1Agentic 编程传统的聊天机器只是回答问题。Agentic 编程系统执多步骤的作流。传统聊天机器为AI Chat Assistant给我的 README 加个笑话没问题!这是个你可以添加的笑话:Why do proxy servers make terrible comedians?Because they always deliver the punchline to thewrong audience.你可以把它粘贴到 README 的 Fun Facts 部分。Cursor 中的
2、 Agentic 编程2示例追踪“给我的 README 加个笑话”单次 agentic 交互。3Cursor 架构 Prompt 和模型交互在服务端进 统的后端服务于所有客户端界 需发布客户端即可上线新模型、具和 Prompt 多供应商路由以保证模型弹性 服务端优化惠及所有户(稍后详细介绍)4更聪明、更快的模型 新型 GPU(B200/GB200)更强算使规模快速推理成为可能 内核优化(Flash Attention,投机解码)降低延迟,提吞吐量 推理供应商(如 Together)管理 GPU 到推理的供应链5延迟优化推理路径的四个层级,每层都有其优化段。6延迟拆解Agentic 循环中每个推理请求的关键指标。7跨多部署路由每个部署都有负载曲线 随着流量增加,TTFT上升,TPS 下降。8传输层优化HTTP/TCP 上的推理请求与传统 Web 流量有很不同。9TCP 拥塞控制与 Agentic 推理10Agent 循环优化:推测执写调乎总是成功 推测性地开始下个模型调,如果写成功则提交,否则丢弃推测结果,正常执。11回顾:四个优化层级每层都有独特的优化段 协同优化以获得复合收益。12谢谢Q&A13