Cursor大规模agentic编程系统的工程实践-吴宇晨.pdf

1、Cursor 规模 Agentic编程系统的程实践YUCHEN WUAgent 质量与性能 Cursor1Agentic 编程传统的聊天机器只是回答问题。Agentic 编程系统执多步骤的作流。传统聊天机器为AI Chat Assistant给我的 README 加个笑话没问题！这是个你可以添加的笑话：Why do proxy servers make terrible comedians?Because they always deliver the punchline to thewrong audience.你可以把它粘贴到 README 的 Fun Facts 部分。Cursor 中的

2、 Agentic 编程2示例追踪“给我的 README 加个笑话”单次 agentic 交互。3Cursor 架构 Prompt 和模型交互在服务端进 统的后端服务于所有客户端界 需发布客户端即可上线新模型、具和 Prompt 多供应商路由以保证模型弹性 服务端优化惠及所有户（稍后详细介绍）4更聪明、更快的模型 新型 GPU(B200/GB200)更强算使规模快速推理成为可能 内核优化(Flash Attention,投机解码)降低延迟，提吞吐量 推理供应商(如 Together)管理 GPU 到推理的供应链5延迟优化推理路径的四个层级，每层都有其优化段。6延迟拆解Agentic 循环中每个推理请求的关键指标。7跨多部署路由每个部署都有负载曲线 随着流量增加，TTFT上升，TPS 下降。8传输层优化HTTP/TCP 上的推理请求与传统 Web 流量有很不同。9TCP 拥塞控制与 Agentic 推理10Agent 循环优化：推测执写调乎总是成功 推测性地开始下个模型调，如果写成功则提交，否则丢弃推测结果，正常执。11回顾：四个优化层级每层都有独特的优化段 协同优化以获得复合收益。12谢谢Q&A13