2024龙蜥大会阿里云分论坛：ZOLOZ大规模海外AI推理实践-谭华哲.pdf

《2024龙蜥大会阿里云分论坛：ZOLOZ大规模海外AI推理实践-谭华哲.pdf》由会员分享，可在线阅读，更多相关《2024龙蜥大会阿里云分论坛：ZOLOZ大规模海外AI推理实践-谭华哲.pdf（13页珍藏版）》请在三个皮匠报告上搜索。

1、ZOLOZ大规模海外AI推理实践谭华哲ZOLOZ技术专家ZOLOZ发展关键节点2015.32017.10支付宝刷脸支付首次亮相德国汉诺威可信身份平台ZOLOZ正式发布2018.8ZOLOZ实人认证产品海外上线2015.7支付宝率先将面部识别技术应用于用户登录和支付2018.12支付宝正式发布刷脸支付产品“蜻蜓”2019.5启动Deepfake算法研究2020.3亚太首家获得iBeta最高等级Level2认证2020服务超过16个国家和地区2021.8ZOLOZ SaaS用户量过亿2022.4入选Gartner身份认证市场指南2023.5牵头制定ISO可信身份验证“国际标准2024.4上线推出D

2、eepfake综合防御产品ZOLOZ DeeperAI 在ZOLOZ的应用RealIDConnectDeeper海外 AI 应用的挑战GPU 资源紧缺低延时高吞吐量算法快速部署和迭代海外 AI 应用的挑战加速 AI 应用构建20+容器镜像帮助用户快速构建端到端 AI 应用加速 AI 性能在典型 AI 负载下提供卓越性能表现加速 AI 业务落地60+算法能力提供在线公有云 AI 解决方案Nvidia GPUYITIAN ARM CPU人脸识别证件识别证件分类证件防伪证件质量活体检测TTSASR机器翻译OCRNLPMoreZOLOZ AI 服务Alibaba Cloud AI Containers

3、（ac2）Scikit-LearnPandasNumPy/SciPyXGBoost&MoreIntel XEON CPUAlibaba Cloud AI Containers 优势开箱即用内置硬件驱动、AI运行时、AI框架，满足用户不同场景的快速部署诉求服务支持阿里云官方为AC2系列容器镜像提供免费的维护和技术支持运维方式基于不同的系统镜像，用户可以使用yum或者apt进行系统运维管理深度优化与阿里云基础设施包括ECS、ACK、ECI深度结合优化，持续提升系统的运行时性能全链路保障打造全链路AI镜像发布平台，全流程保障镜像的构建、测试、发布、维护，为镜像提供安全、稳定性保障生态支持在继承基础系

4、统生态的同时，引入龙蜥社区的AI生态源（epao源），用户可以使用yum操作即可安装各类AI软件1.002.103.40第三代英特尔 至强 可扩展处理器（FP32）第四代英特尔 至强 可扩展处理器（FP32）第四代英特尔 至强 可扩展处理器（BF16混合精度）视觉模型吞吐量比较（时延=100毫秒，越高越好）采用第四代英特尔 至强 可扩展处理器优化视觉 AI 推理性能 使用第四代英特尔 至强 可扩展处理器内置的AI 加速引擎-英特尔 AMX，显著提升 AI 推理性能 利用英特尔 OpenVINO 将 CPU 微调到峰值效率，使得长尾视觉模型推理性能获得进一步跃升更便捷的部署流程，更低的部署成本满

5、足单位时间内的海量处理请求，提升吞吐量采用 CPU 进行小模型推理服务，获取更高的成本效益Intel AMX 释放现有基础设施的潜能倚天 ARM 极致性价比选择计算算力内存子系统带宽算法效率综合性价比成本倚天 AI HIE 通用解决方案430%170%8%YCL计算库重新编译混合精度加速矩阵运算模型优化与算子融合577711083936ML Inference WorkloadsPytorch2.0 frameworkQuant.PluginRuntimeOpenblasoneDNNoneDNNprimitiveslibgemm.soArm ComputeLibrary(ACL)YCL X86

6、 CPUYiTian SoC arm backendX86 backendHPA ControllerRT策略TPS策略定时策略DeploymentPodPodPodCPUGPUsystem metricQPSRTTPSbusiness metric离线计算弹性决策引擎感知服务水平生成弹性策略评估副本数量实时查 询监控metric serverT+1同步 监控指标实时更新弹性策略T+1 更新弹性策略AI 场景的实时弹性扩缩容Pod冷启动时间创建节点(约 45-60 秒)业务初始化，加载模型（4300秒）拉取镜像（6