1、 1 新型视频语义编码 技术白皮书（2024 年）发布单位：中移智库 编制单位：中国移动通信研究院 新一代移动信息通信技术国家工程研究中心已转曲未转曲 编制说明编制说明 参编参编单位单位及人员及人员 中国移动通信研究院：喻炜、杨蕾、郭勐、赵丽丽 北京大学：马思伟、贾川民 中兴通讯股份有限公司：黄成、李秋婷 前前 言言 随着 5G 和人工智能技术的发展，视频编码技术迎来了新的机遇。同时，新型视频内容（VR 视频、全景视频、自由视点视频等）相继涌现，给数据的存储和传输带来了全新挑战。新机遇带来新挑战，从而引发新型技术需求。在此背景下，视频语义编码技术将基于视频内容和语义特征进行编码，同时追求信号保

2、真度、感知自然性和语义质量，有望突破传统视频编码方法的性能瓶颈，成为助推视频产业高质量发展的新动能。本白皮书旨在提出视频语义编码技术架构，介绍了视频语义编码技术背景、典型应用场景和相关技术方案，总结梳理了标准化进展，并对未来技术发展趋势进行展望。本白皮书的版权归中国移动所有，未经授权，任何单位或个人不得复制或拷贝本建议之部分或全部内容。中国移动 新型视频语义编码技术白皮书（2024）1 目目 录录 1.视频编码技术总体发展态势.2 2.视频编码技术发展概述.5 2.1 视频编码.5 2.2 基于语义通信的编码传输.7 3.视频语义编码传输关键技术.10 3.1 视觉感知编码.11 3.1.1

3、JND 编码.12 3.1.2 ROI 编码.12 3.2 生成式编码.13 3.3 跨模态编码.15 3.4 机器视觉编码.16 3.5 编码数据传输.16 3.5.1 媒体封装.17 3.5.2 流媒体传输.18 4.标准化进展及建议.20 4.1 AI 视频编码.21 4.2 VR 视频编码.22 4.3 多视点视频编码.23 4.4 面向机器的视频编码.23 5.总结与展望.25 缩略语列表.26 参考文献.28 中国移动 新型视频语义编码技术白皮书（2024）2 1.视频编码技术总体发展态势视频编码技术总体发展态势 近年来，随着 5G、5G-A 和人工智能技术的发展，多媒体通信呈现巨

4、大革新，进而催生了大量以视频为主要媒介的应用场景，比如短视频、视频直播、视频通话、视频会议等。视频编解码技术作为视频产业的基础底层技术，无疑将成为未来产业中的重要一环。尽管视频编解码技术每十年可提升约 50%的压缩率，但已然无法跟上当下视频信息量迅速膨胀的步伐。海量的新型视频数据和创新应用场景的迸发涌现，促使视频编码技术不断迭代并呈现多元化发展趋势。因此，亟需发展更为高效智能的视频编码技术，来迎接全新的大视频时代。l 多元视觉指标升级，引发超高清视频编码技术需求多元视觉指标升级，引发超高清视频编码技术需求 随着采集设备和视频技术的升级，视频数据逐渐呈现高分辨率（UHD）、高帧率（HFR）、宽色

5、域（WCG）、高动态范围（HDR）的特点。超高清视频集上述特点于一身，在各应用场景中愈发普及，更为海量的数据使得存储传输压力激增。如何满足高质量、低延迟、少失真、低码率，成为编码技术所需要面临的新挑战。表 1-1 HD、FHD 及 UHD 视频参数特点 类别类别 高清高清HD 全高清全高清FHD 超高清超高清UHD 分辨率 720p 1280*720 1080p 1920*1080 4K 3840*2160 8K 7680*4320 帧率 30fps 不低于 30fps 60fps 120fps 色彩色域 Rec.709 Rec.2020 动态范围 SDR HDR 码率 4-5 Mbps 4-

6、10 Mbps 8-80Mbps 32-240Mbps l 从从“看得清看得清”向向“看得真看得真”转变，催生编码技术升级转变，催生编码技术升级 人眼开始追求更宽的视角、更大的范围、更沉浸的体验，VR/AR 视频、自由视点视频相继涌现。基于技术成熟度，目前的 VR 视频泛指 3DoF 或 3DoF+VR视频，如水平 360垂直 360全景视频、水平 180垂直 180全景视频等，在拍摄端由不同方向的多个照相机拍摄多路视频并将其拼接融合而成，主要的关键技术包含 2D 视频拼接、视频编解码、存储和传输。而自由视点视频是一种新型中国移动 新型视频语义编码技术白皮书（2024）3 视频内容，能够让观众