1、R T E A N D A I C O N V E R G E N C E E C O S Y S T E M I N S I G H T S R E P O R TR T E A N D A I C O N V E R G E N C E E C O S Y S T E M I N S I G H T S R E P O R T生态洞察报告RTE融合和AI20242024前言 前言2024 年，AI 与实时互动技术的结合达到了前所未有的高度，推动了行业的发展与变革。5 月，OpenAI 发布了 GPT-4o，并展示了其对话功能，仿佛电影HER中的智能助手走入了现实生活。紧随其后，6 月，a1

2、6z 发布了关于语音 AI 的展望报告，详细分析了这一市场的巨大潜力，并为未来的语音 AI 发展绘制了蓝图。之后，其他行业领军企业如 Cartesia 和 Bessemer Venture Partners 也纷纷发布了自己的洞察报告，深入探讨了语音AI和实时互动技术的前景。进入 2024 年 10 月，OpenAI 宣布与 Agora、Twilio 等实时互动技术公司展开合作，同时，国内各大科技公司也陆续公布了在对话 AI、多模态 AI、语音 AI 等领域的技术布局和市场战略。这一切都标志着实时互动技术与AI的结合进入了一个全新的发展阶段。随着这两项技术的深度融合，我们已经看到它们在多个领域

3、和场景中展现出巨大的应用潜力，也赋予了智能体越来越可用的能力，语音助手可以帮助用户打电话、操作终端设备；AI 能为用户提供情感陪伴；而能够纠正语音的口语陪练也让学习更加个性化和高效。这些创新的应用让智能体变得愈加智能、实用和贴近用户需求。在这一背景下，RTE 开发者社区与 InfoQ 研究中心联合发布了本份报告，旨在深入探讨实时互动技术与 AI 结合的现状、挑战与未来趋势。我们希望通过这份报告，为行业从业者、技术开发者以及创新者们提供有价值的洞察，帮助他们更好地理解技术融合的机遇与挑战，推动技术落地与应用创新。本报告专注于探索如何利用实时互动技术与 AI 相结合，来提升用户体验，以及社区是如何

4、帮助 Voice Agent 生态建设和发展的。我们相信，这些洞察将为行业的持续创新和发展提供重要参考。前言 实时互动（RTE）行业定义回顾 在报告的开头，我们再次回顾实时互动（RTE）的定义。实时互动（RTE）是远程互动、多维沟通、身临其境的交互活动。对互联网技术架构提出更高要求，其特性主要体现在实时性和互动性两个方面。来源：信通院实时互动产业发展研究报告 2022；声网研究院实时万象声网带你探寻实时互动的边界前言 实时互动（RTE）行业定义回顾实时接入实时传输实时交互实时渲染互动网络互动设备互动组件互动场景实时性互动性实时互动（Real-Time Engagement）实时互动（RTE）以

5、实时性和互动性为核心特点CONTENT实时互动与 AI 行业技术演进观察与分析01应用场景新挑战，造就 VOICE AGENT 新的产业架构02RTE开发者社区架起生态桥梁，加速生态沟通03实时互动智能生态的未来发展预测04实时互动与 AI 行业技术演进观察与分析01实时互动与 AI 行业技术演进观察与分析AI 应用落地时代：重新定义算力、数据与算法的价值，从技术驱动到价值赋能1.1在本轮浪潮的早期，行业的焦点集中在模型的规模与通用性上，尤其是对 AGI 的追逐。然而，随着时间的推移，越来越多的从业者开始转向 AI 的实际应用落地，寻求更具现实意义的创新与突破。AI 1.0 的三驾马车算力、数

6、据和算法，在这一新时代中展现出新的特征。但在应用落地的关键阶段，它们必须更加强调解决实际应用中的复杂挑战，才能真正推动AI的商业化进程和技术赋能。当前云、边、端的算力资源分布尚未均衡，具体分配需要根据场景和行业特点动态调整。数据算法算力传统 1.0 的三驾马车应用落地下，三驾马车的转变与新特征应用落地算力分布不均，云边端模式仍在探索中数据数量和质量的必要性已经得到普遍认可，但能捕捉行业需求独特性的专有数据，其获取和积累往往面临隐私、安全等多重挑战。仍需要行业和场景的专有数据积累尽管以 Transformer、LSTM 为代表的主流深度学习架构在性能和效率上趋于稳定和成熟，但在实际落地过程中，仍