1. 数据驱动下的压缩视频质量增强（徐迈）.pdf

1、数据驱动下的压缩视频质量增强徐 迈北京航空航天学 一、研究背景 二、多帧联合优化的视频质量增强 三、盲质量增强的高效动态深度网络模型 四、感知失焦特性的压缩图像质量增强1研究背景1 https:/ EB 2022:3,300 EB/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式/通格式Global Mobile Data TrafficInternet VideoIP VODWeb/DataFile SharingEB/Month1 https:/ amount,high quality videosBillions of

2、 Mobile devicesWireless Network带宽瓶颈能否进一步提高视频压缩效率?视频压缩技术演进遇到“边际效应”视频压缩效率以巨大计算资源为代价StandardPredictionTransformIntra-Inter-MPEG-1None1/2 pixel88 DCTMPEG-2None1/2 pixel88 DCTAVC9 modes1/4 pixel44,88 DCTHEVC35 modes1/8 pixel44 3232 DCT,44 DSTYearCoding EfficiencyMPEG-1MPEG-2AVCHEVC1992 199620042013Cplx.5

3、%Cplx.100%Cplx.1000%Border Effect能否另辟蹊径：在解码端提升视频质量？视频编码传输视频解码低质量视频原始视频低质量视频码流发送端接收端用户12解决方案：解码端增强压缩视频质量，缓解视频传输带宽瓶颈低质量视频码流视频编码传输视频解码低质量视频用户原始视频发送端接收端高质量视频质量增强ImageNet,14M+images and 21K+classes(2009-2017,http:/www.image-net.org/)13!#!#$%&()*+,-./01%2345$%&()*+,-./01%23452多帧联合优化的视频质量增强1 Multi-frame Qu

4、ality Enhancement for Compressed Video,CVPR 20182 MFQE 2.0:A New Approach for Multi-frame Quality Enhancement on Compressed Video,TPAMI 20193 Progressive Training of A Two-Stage Framework for Video Restoration,NTIRE 2022 冠军案1 Image denoising by sparse 3D transform-domain collaborative filtering,TIP

5、20072 Compression artifacts reduction by a deep convolutional network,ICCV 20153 Enhancing Quality for HEVC Compressed Videos,TCSVT 2018现有工作 传统图像方法，如BM3D 1 基于学习的图像方法，如AR-CNN 2、QE-CNN 3局限性 没有考虑视频的特性：相邻帧时序相关，存在冗余 没有考虑视频编码的特性：质量波动，质量差帧可以借鉴好帧15现有方法局限：未考虑多帧和编码特性16454678)*-9:678)*-9:86)*;-=6)*;)*?AB)*?AB

6、图 涵盖 8 种主题的大型无损视频数据库建库：大规模、高质量、多分类的无损视频库17图 篮球运动视频中高度相似的相邻帧Frame 95Frame 96Frame 94CD#CD#EFGHIEJ-.KL23MNOEPQREFGHIEJ-.KL23MNOEPQR分析：压缩视频的时序相关性18+,ST+,ST:5)*?U-AB)*VWXY)*?U-AB)*VWXYZ$GEJDZ$GEJD图 不同距离帧之间的相关系数和标准差分析：压缩视频的时序相关性19图 不同压缩标准下的视频PSNR波动曲线CD#CD#AB)*_L1%aAB)*_L1%abcdebfdG1%fgZ$bcdebfdG1%fgZ$分析：