端云协同 - 2 - 归鹄 - 下一代端边云协同智能化引擎.pdf

1、下代端边云协同智能化引擎归鹄 2023.11录1、端云协同背景与挑战2、端边云协同工程体系3、应用与展望智能化的APP端云协同计算的优势云计算数据集中、算强，传输开销端计算数据与算距离现场更近，响应速度快实时性毫秒级络传输边缘计算天然分布式省资源隐私性隐私学习本地消费蚂蚁端智能发展历程简述2017.42018.42019.42020.42021.4端智能诉求2017“扫福”端侧CV能诉求的提出CV场景2018扫五福-千亿规模验证证件夹 物识别保险 扫扫&AR通场景搜索推荐安全控体验优化IoT场景刷脸付扫码付视觉售货柜xNN 2017.8AI引擎上线数据智能 2019.6端智能容器端智能平台认知

2、智能扫扫物识别引擎多媒体引擎平台态Tab3程序动态服务流应场景技术能端云协同计算快速发展端云协同系统架构核系统和模块介绍：AIStudio-AI研发平台：对数据特征进分析、加、训练产出模型，通过xNN插件进剪枝、压缩转化成端侧可执的模型MobileAIX-端智能发布平台：端智能研发管理平台，提供端特征/端模型管理、端决策案研发/调试/评测/发布/监控等功能MobileAIR-端智能计算容器 提供端智能解决案运时撑与保障，包括特征程、模型推理、算法框架、脚本引擎、流计算等xNN-端侧深度学习推理引擎 端侧统的性能、灵活、安全的AI计算引擎，持跨平台、动态化的AI算法部署端云协同计算应以及效果云:

3、召回增强 结合户的历史为和端特征，召回更多候选集端:实时重排 实时感知户为变化，毫秒级重排 重排模型打分+转化规则预算分层 险模型计算前置，减轻服务端压 计算分布式，具备计算弹性险特征挖掘 终端设备、为等个性化数据挖掘 本地计算，隐私安全端云协同新的挑战端内容呈现云计算端数据展示内容云计算端侧负责内容呈现云侧进计算决策端云协同计算云计算端计算端中协同端中协同端云双向协同协同范式实时性：端侧毫秒组响应决策，络传输省资源：天然分布式，户机侧计算隐私性：隐私学习，本地消费1 低端机 设备碎化 （机&IoT）软件vs硬件更新设备覆盖受限2 存储 内存 参数 vs 业务效果模型受限录1、端云协同背景与挑

4、战2、端边云协同工程体系3、应用与展望边缘计算的特点与选型 就近接，相对云中访问时延降低。成本优化，带宽和机器资源相对云中低，在数据量下，资源弹性，打造漏形的流量模型。算客户端强，可以优化算法效果。边缘计算的特点 边-云边缘（edge on cloud）如阿云的各个型站点，节点较少，sla等级最。中边-近场边缘（edge on cdn）如CDN提供的xcdn服务，节点常多，覆盖各城市。边-现场边缘（edge on tiny cluster）企业、店等部署的型集群，辐射范围有特定的范围边缘分类云边端的特性端边云协同系统架构端计算引擎 性能异构的端推理引擎xNN 轻量级PythonVM端边云协同程

5、 分级实时通道 移动端流式计算框架UEP 效数据共享 边缘容器框架端边调度 端边智能调度 端边协同训练关键技术1-端计算引擎轻量级PythonVM运性能 针对端、边设备进跨平台适配，深度优化了模块导技术，持端线程级、边进程级并技术与动态发布能任务级多线程端侧基于内存隔离的多线程实现案，持任务级的并，降低任务等待耗时，并通过使线程ID寄存器，优化内存隔离性能。效果：并发场景性能提升10%-40%。关键技术1-端计算引擎 多模块由打包 统快速加载定制包结构 剪枝必须路径 预设路径加快搜索 减少74%的效磁盘IO模块搜索机制优化 Hook导流程 依赖细化&懒加载 效模块加载例降低85%标准库依赖重构

6、案：模块导优化logging.pycconfig.pycfeature.pycjson.pycmd5.pyckvcache.pycmaipython.pkgHeader：loggingContent：loggingHeader：_packages_Content：packages信息问题：导耗时Import randomImport warningsImport linecacheXX关键技术1-端计算引擎xNN 端侧深度学习框架算利&建模效率 持可伸缩建模，能够灵活根据不同终端设备上的软硬件环境分别研发最匹配的AI模型端边不同模型 千机千模 千千模应：