国内外视频编解码标准体系-横向纵向对比全球三个体系标准


针对国内外视频编解码标准,前文回顾和总结了标准组织或联盟包括MPEG、ISO、ITU、AOM、AVS等的阵营、历史、标准关系。本文从纵向、横向分析对比视频编解码的特性。

纵向是指按照时间维度,对比同一个MPEG体系的H.266/VVC, H.265/HEVC, H.264/AVC,对比性能、专利费、应用三方面。横向是指在同时代按照三个视频编解码阵营维度,对比MPEG,AV1,AVS在性能、专利费、应用、产业支持四方面。

一,从纵向对比H.266/VVC, H.265/HEVC, H.264/AVC

1、应用范围
在MPEG、ISO体系中,H.264应用当前最广泛,在日常视频相关的大多数领域都有应用。

H.265在4k、流媒体领域这几年逐步有广泛应用,比如在国外的Netflix的OTT播放,在国内腾讯视频、爱奇艺、咪咕视频的流媒体播放中都在用。

H.266是今年秋天刚发布, 市场上支持H.266 / VVC的软件(用于编码器和解码器)还没有商用成熟的。从标准目标看,H.266 / VVC的目标应用是期望广泛,这也是名字中versatile的由来。其目标应用是8K及以上、VR、可动态配置编解码的产品,也包括传统的2D视频、视频点播、广播、视频会议、360°视频和可伸缩性等。

2、性能
ISO体系的每一代标准的编码效率,都比上一代提高1倍,这使同样的文件在新一代标准下,可以压缩至原标准的40%至50%。例如,同样的画质和同样的码率,H.265比H.264 占用的存储空间实验要少50%,H.266/VVC的视频文件在相同画质之下理论上比H.265/HEVC的视频文件小50%。

3、专利费
H.264是2003年推出的,目前在整个网络流量的占比非常大。要使用H.264标准,只需支付必要专利费。

H.265是经过多年还未成为主流的技术的主要原因就是在它的专利上。第一,它的专利费不如H.264便宜,第二,H.264专利的收费方明确规定,一旦交纳专利费就不会再有其他的专利问题。但H.265并非如此,它有几个不同的专利池,另外还有些公司在H.265里有自己的专利,但实际上并未加入专利池,这相当于即使使用了H.265,还是可能要交纳专利费,所以这就阻止了很多公司对H.265进行大规模地开发。

H.266刚发布标准,里面有VVC、EVC、LCEVC,三者针对不同的应用有不同的收费方式。比如VVC是在2020发布的,VVC里做了很多的技术以适应不同场景下的不同的编码,所以它的License是要收费的。EVC跟VVC的区别是EVC包含两个套餐,一个免费的基础套餐和一个收费的主套餐。基础套餐中使用的技术都是免专利费或者相对比较老旧不再收费的技术;而主套餐中用到了一些比较先进的专利技术,比如高级变换、预测和滤波,并需要支付相应的专利费。

4、应用平台
正常情况,这几个标准都可在手机、TV、机顶盒平台使用。H.264对各设备支持性最好,几乎支持所有平台。H.265因为专利费问题,在chrome和firefox浏览器不能支持,这也是chrome和firefox浏览器转支持VP9和AV1的原因之一。H.266的目标是支持所有平台场景,但目前还在标准和未落地阶段。

二,从横向对比MPEG,AV1,AVS

1、应用范围

H.264应用最为广泛,前文已多次提到。美国、欧洲、中国、日韩的机顶盒、卫星运营商、网络视频、网络监控、蓝光DVD多数使用H.264。举几个例子,AVC是高清机顶盒SoC芯片的标准配置;美国及欧洲的卫星运营商从2004年起相继采用H.264解码芯片;AVC是网络视频的主要压缩技术之一;视频监控设备,4G视频通话,在线视频存储点播,蓝光DVD均使用H.264编解码。

H.265在4K直播、高清监控、高清视频会议中应用较多。例如,很多国内视频APP的直播、点播,以H.264、H.265为主。

VP9和AV1以谷歌为主,应用于浏览器厂家、Youtube、电视。举几个例子,Chrome、Firefox、Edge、Opera都支持VP9;Android4.4以上的版本也是支持VP9解码;4K电视,盒子、电视棒、游戏机上,VP9也有支持;Youtube,Google Play的电视和直播以及Netflix的直播都在使用VP9。

AVS于2007年开始使用。2018年世界杯之后,央视在国内开始使用AVS2。AVS3的应用有华为海思。AVS将在北京冬奥会、杭州亚运会应用。追溯AVS应用历史,举例包括:
2007年开始,AVS数字电视节目应用于我国二十多个省市地方和老挝、泰国、斯里兰卡、吉尔吉斯斯坦、古巴等国;
2018年CCTV开播国内首个上星超高清电视频道-CCTV 4K超高清频道,采用AVS2
2019年,华为海思首颗基于AVS3标准的支持8K分辨率,120P的超高清芯片;Hi3796CV300以及首个基于AVS3标准的8K端到端解决方案同时推出,率先完成了从AVS3源头标准技术到落地应用的产业链贯通探索;
2022年,AVS3更将以2022年北京冬奥会和杭州亚运会为契机,完成我国的AVS3+5G+8K产业发展领先全球的部署,期待引领未来5年到10年8K超高清和VR视频产业的发展。

2、性能
在Performance方面,难以定性说和比较哪个标准最好,只是各有所长。中国主导的AVS3的性能数据还不错。

3、功能特性
在Feature方面,各标准各有特性。针对三个阵营最新的标准族H.266/VVC,AV1,AVS3进行横向对比分析。

1)H.266/VVC
在块划分方面,使用最大256X256四叉树,二叉树划分。
在帧预测方面,定义了67种帧内预测模式,自适应运动矢量残差分辨率,更高运动矢量存储精度等。
在编码变换方面,使用多种变换方式选择,包括子块变换,最大QP由51变为63,变换系数编码时隐藏符号数据等。
在滤波方面,使用自适应环路滤波(ALF)。

2)AV1
在块划分方面,使用超级块(SB)最大划分尺寸128X128。
在帧预测方面,定义了56种帧内预测模式,动态空间与时间运动矢量参考,重叠块运动补偿,扭曲运动补偿等特性,并采用高级复合预测。
在编码变换方面,使用变换块分区,扩展的转换内核等特性。扩展的变换类型包括,DCT、ADST、IDT、Flip-ADST几种。AV1 最多支持 16 种行列变换组合。
在滤波方面,使用受约束的方向增强滤波器(CDEF),循环恢复过滤器等。

3)AVS3
在块划分方面,使用扩展四叉树,二叉树划分。
在帧预测方面,定义了仿射运动预测,自适应运动矢量精度,基于历史信息的的运动矢量预测,大跨度预测编码等。在AVS3中有1/2、1/4、1、2、4 五种可选运动矢量精度,可以进一步提升编码效率。
在编码变换方面,定义基于位置的帧间残差变换,基于帧内预测多核变换。
在滤波方面,使用基于神经网络的滤波技术。

3、专利费
H.266 和 AV1 各自的缺点也非常明显,H.265 复杂的专利授权,高昂的授权费用,H.266的专利收费细则还不明朗;AV1虽然开源免费,但本质由谷歌一家主导,其他厂商并不希望主流视频编码标准被谷歌垄断。AVS采用统一许可方式,只收取少量费用,也不向内容使用方、内容提供方收费。

4、产业支持情况
MEPG系列在中国、美国、日本、欧洲都在支持。在VVC标准制定中,比较活跃的有Intel、高通、索尼、苹果、爱立信、华为、阿里、腾讯。国内运营商如中国移动也在参与。

AV1以互联网企业为主,组成AOM,包括谷歌、亚马逊、Apple、ARM、Cisco、Facebook、Samsung,Netflix、腾讯、爱奇艺等,阿里也加入了AOM。

AVS视频编解码以北大为主导,包括央视、中国移动、华为、中兴、腾讯、阿里、字节跳动、微视参与其中推进标准完善。

未来一段时间内,AV1 和 HEVC H.265 很可能会是长期并存和竞争的关系,而 VP9 将逐步被替代。有人说,结果可能是 HEVC/ H.265 将就专注于企业、军政、安防、私有云等市场,而 AV1将广泛应用于互联网上、公有云上,AVS应用在国内4K/8K超高清频道。这都很难说,还是由市场和政策发展来看。从3G到5G通信标准经验看,中国人主导的标准能否在全球主导和引领,靠的国人通信人的智慧、坚持、主动,也离不开国家和产业的整体推进。