视频压缩编解码标准综述 DV OnLine.数码视频在线数字摄像机数字视频处理视频采集卡编辑软件

摘要：本文从目前视频流传输中最为重要的编解码标准国际电联的H.261、H.263,运动静止图像专家组的M-JPEG,国际标准化组织运动图像专家组的MPEG系列标准,以及在互联网上被广泛应用的Real Video、WMT、 QuickTime等方面,详细地介绍了视频压缩编解码标准及其应用。

关键词：视频压缩编解码标准,H.261,H.263,M-JPEG,MPEG,MPEG-1,MPEG-2,MPEG-4,MPEG-7,MPEG-21,Real Video,WMT,QuickTime。

随着Internet带宽的不断增长,在Internet上传输视频的相关技术也成为Internet节研究和开发的热点。目前,许多实验性的高速宽带网络都把视频传输的技术和应用作为研究的重点课题。在Internet上传输视频有许多困难,其根本的原因在于Internet的无连接每包转发机制主要为突发性的数据传输设计,不适用于对连续媒体流的传输。为了在Internet上有效的、高质量的传输视频流,需要多种技术的支持,其中数字视频的压缩编码技术是Internet视频传输中的关键技术之一。此外,在多媒体的传输、处理、应用中还有许多问题：如何在网络上传输视频？如何通过手机上网并接收视频和图像？如何对多媒体数据进行快速有效的检索？如何对多媒体信息进行统一的存取？等等。

目前视频流传输中最为重要的编解码标准有国际电联的H.261、H.263,运动静止图像专家组的M-JPEG和国际标准化组织运动图像专家组的MPEG系列标准,此外在互联网上被广泛应用的还有Real-Networks的RealVideo、微软公司的WMT以及Apple公司的QuickTime等。具体如下：

一、国际电联的H.261、H.263标准

1．H.261

H.261又称为P*64,其中P为64kb/s的取值范围,是1到30的可变参数,它最初是针对在ISDN上实现电信会议应用特别是面对面的可视电话和视频会议而设计的。实际的编码算法类似于MPEG算法,但不能与后者兼容。H.261在实时编码时比MPEG所占用的CPU运算量少得多,此算法为了优化带宽占用量,引进了在图像质量与运动幅度之间的平衡折中机制,也就是说,剧烈运动的图像比相对静止的图像质量要差。因此这种方法是属于恒定码流可变质量编码而非恒定质量可变码流编码。

2．H.263

H.263是国际电联ITU-T的一个标准草案,是为低码流通信而设计的。但实际上这个标准可用在很宽的码流范围,而非只用于低码流应用,它在许多应用中可以认为被用于取代H.261。H.263的编码算法与H.261一样,但做了一些改善和改变,以提高性能和纠错能力。.263标准在低码率下能够提供比H.261更好的图像效果,两者的区别有：(1)H.263的运动补偿使用半象素精度,而H.261则用全象素精度和循环滤波;(2)数据流层次结构的某些部分在H.263中是可选的,使得编解码可以配置成更低的数据率或更好的纠错能力;(3)H.263包含四个可协商的选项以改善性能;(4)H.263采用无限制的运动向量以及基于语法的算术编码;(5)采用事先预测和与MPEG中的P-B帧一样的帧预测方法;(6)H.263支持5种分辨率,即除了支持H.261中所支持的QCIF和CIF外,还支持SQCIF、4CIF和16CIF,SQCIF相当于QCIF一半的分辨率,而4CIF和16CIF分别为CIF的4倍和16倍。

1998年IUT-T推出的H.263＋是H.263建议的第2版,它提供了12个新的可协商模式和其他特征,进一步提高了压缩编码性能。如H.263只有5种视频源格式,H.263＋允许使用更多的源格式,图像时钟频率也有多种选择,拓宽应用范围;另一重要的改进是可扩展性,它允许多显示率、多速率及多分辨率,增强了视频信息在易误码、易丢包异构网络环境下的传输。另外,H.263＋对H.263中的不受限运动矢量模式进行了改进,加上12个新增的可选模式,不仅提高了编码性能,而且增强了应用的灵活性。H.263已经基本上取代了H.261。

二、M-JPEG

M-JPEG（Motion- Join Photographic Experts Group）技术即运动静止图像（或逐帧）压缩技术,广泛应用于非线性编辑领域可精确到帧编辑和多层图像处理,把运动的视频序列作为连续的静止图像来处理,这种压缩方式单独完整地压缩每一帧,在编辑过程中可随机存储每一帧,可进行精确到帧的编辑,此外M-JPEG的压缩和解压缩是对称的,可由相同的硬件和软件实现。但M-JPEG只对帧内的空间冗余进行压缩。不对帧间的时间冗余进行压缩,故压缩效率不高。采用M-JPEG数字压缩格式,当压缩比7:1时,可提供相当于Betecam SP质量图像的节目。

JPEG标准所根据的算法是基于DCT（离散余弦变换）和可变长编码。JPEG的关键技术有变换编码、量化、差分编码、运动补偿、霍夫曼编码和游程编码等

M-JPEG的优点是：可以很容易做到精确到帧的编辑、设备比较成熟。缺点是压缩效率不高。

此外,M-JPEG这种压缩方式并不是一个完全统一的压缩标准,不同厂家的编解码器和存储方式并没有统一的规定格式。这也就是说,每个型号的视频服务器或编码板有自己的M-JPEG版本,所以在服务器之间的数据传输、非线性制作网络向服务器的数据传输都根本是不可能的。

三、MPEG系列标准

MPEG是活动图像专家组(Moving Picture Exports Group)的缩写,于1988年成立,是为数字视/音频制定压缩标准的专家组,目前已拥有300多名成员,包括IBM、SUN、BBC、NEC、INTEL、AT&T等世界知名公司。MPEG组织最初得到的授权是制定用于“活动图像”编码的各种标准,随后扩充为“及其伴随的音频”及其组合编码。后来针对不同的应用需求,解除了“用于数字存储媒体”的限制,成为现在制定“活动图像和音频编码”标准的组织。MPEG组织制定的各个标准都有不同的目标和应用,目前已提出MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21标准。

1．MPEG-1标准

MPEG-1标准于1993年8月公布,用于传输1.5Mbps数据传输率的数字存储媒体运动图像及其伴音的编码。该标准包括五个部分：

第一部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定,对音频和视频进行复合编码。第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第五部分是一个用完整的C语言实现的编码和解码器。

该标准从颁布的那一刻起,MPEG-1取得一连串的成功,如VCD和MP3的大量使用,Windows95以后的版本都带有一个MPEG-1软件解码器,可携式MPEG-1摄像机等等。

2．MPEG-2标准

MPEG组织于1994年推出MPEG-2压缩标准,以实现视/音频服务与应用互操作的可能性。　MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定,编码码率从每秒3兆比特～100兆比特,标准的正式规范在ISO/IEC13818中。MPEG-2不是MPEG-1的简单升级,MPEG-2在系统和传送方面作了更加详细的规定和进一步的完善。MPEG-2特别适用于广播级的数字电视的编码和传送,被认定为SDTV和HDTV的编码标准。

MPEG-2图像压缩的原理是利用了图像中的两种特性：空间相关性和时间相关性。这两种相关性使得图像中存在大量的冗余信息。如果我们能将这些冗余信息去除,只保留少量非相关信息进行传输,就可以大大节省传输频带。而接收机利用这些非相关信息,按照一定的解码算法,可以在保证一定的图像质量的前提下恢复原始图像。一个好的压缩编码方案就是能够最大限度地去除图像中的冗余信息。

MPEG-2的编码图像被分为三类,分别称为I帧,P帧和B帧。

I帧图像采用帧内编码方式,即只利用了单帧图像内的空间相关性,而没有利用时间相关性。P帧和B帧图像采用帧间编码方式,即同时利用了空间和时间上的相关性。P帧图像只采用前向时间预测,可以提高压缩效率和图像质量。P帧图像中可以包含帧内编码的部分,即P帧中的每一个宏块可以是前向预测,也可以是帧内编码。B帧图像采用双向时间预测,可以大大提高压缩倍数。

MPEG-2的编码码流分为六个层次。为更好地表示编码数据,MPEG-2用句法规定了一个层次性结构。它分为六层,自上到下分别是：图像序列层、图像组(GOP)、图像、宏块条、宏块、块。

MPEG-2标准在广播电视领域中的主要应用如下：

（1）视音频资料的保存

一直以来,电视节目、音像资料等都是用磁带保存的。这种方式有很多弊端：易损,占地大,成本高,难于重新使用。更重要的是难以长期保存,难以查找、难以共享。随着计算机技术和视频压缩技术的发展,高速宽带计算机网络以及大容量数据存储系统给电视台节目的网络化存储、查询、共享、交流提供了可能。

采用MPEG-2压缩编码的DVD视盘,给资料保存带来了新的希望。电视节目、音像资料等可通过MPEG-2编码系统编码,保存到低成本的CD-R光盘或高容量的可擦写DVD-RAM上,也可利用DVD编著软件(如Daikin Scenarist NT、Spruce DVDMaestro等)制作成标准的DVD视盘,既可节约开支,也可节省存放空间。

（2）电视节目的非线性编辑系统及其网络

在非线性编辑系统中,节目素材是以数字压缩方式存储、制作和播出的, 视频压缩技术是非线性编辑系统的技术基础。目前主要有M-JPEG和MPEG-2两种数字压缩格式。

M-JPEG技术即运动静止图像（或逐帧）压缩技术,可进行精确到帧的编辑,但压缩效率不高。

MPEG-2采用帧间压缩的方式,只需进行I帧的帧内压缩处理,B帧和P帧通过侦测获得,因此 ,传输和运算的数据大多由帧之间的时间相关性得到,相对来说,数据量小,可以实现较高的压缩比。随着逐帧编辑问题的解决,MPEG-2将广泛应用于非线性编辑系统,并大大地降低编辑成本,同时MPEG-2的解压缩是标准的,不同厂家设计的压缩器件压缩的数据可由其他厂家设计解压缩器来解压缩,这一点保证了各厂家的设备之间能完全兼容。

由于采用MPEG-2 IBP视频压缩技术,数据量成倍减少,降低了存储成本,提高了数据传输速度,减少了对计算机总线和网络带宽的压力,可采用纯以太网组建非线性编辑网络系统已成为可能,而在目前以太网是最为成熟的网络,系统管理比较完善,价格也比较低廉。

基于MPEG-2的非线性编辑系统及非线性编辑网络将成为未来的发展方向。

（3）卫星传输

MPEG-2已经通过ISO认可,并在广播领域获得广泛的应用,如数字卫星视频广播(DVB-S)、DVD视盘和视频会议等。目前,全球有数以千万计的DVB-S用户,DVB-S信号采用MPEG-2压缩格式编码,通过卫星或微波进行传输,在用户端经MPEG-2卫星接收解码器解码,以供用户观看。此外,采用MPEG-2压缩编码技术,还可以进行远程电视新闻或节目的传输和交流。

（4）电视节目的播出

在整个电视技术中播出是一个承上启下的环节,对播出系统进行数字化改造是非常必要的,其中最关键一步就是构建硬盘播出系统。MPEG-2硬盘自动播出系统因编播简便、储存容量大、视频指标高等优点,而为人们所青睐。但以往MPEG-2播出设备因非常昂贵,而只有少量使用。随着MPEG-2技术的发展和相关产品成本的下降,MPEG-2硬盘自动系统播出可望得到普及。

3．MPEG-4标准

运动图像专家组MPEG 于1999年2月正式公布了MPEG-4（ISO/IEC14496）标准第一版本。同年年底MPEG-4第二版亦告底定,且于2000年年初正式成为国际标准。

MPEG-4与MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具体压缩算法,它是针对数字电视、交互式绘图应用（影音合成内容）、交互式多媒体（WWW、资料撷取与分散）等整合及压缩技术的需求而制定的国际标准。MPEG-4标准将众多的多媒体应用集成于一个完整的框架内,旨在为多媒体通信及应用环境提供标准的算法及工具,从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。

MPEG-4的编码理念是：MPEG-4标准同以前标准的最显著的差别在于它是采用基于对象的编码理念,即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象,分别编码后,再经过复用传输到接收端,然后再对不同的对象分别解码,从而组合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和表示方法,又有利于不同数据类型间的融合,并且这样也可以方便的实现对于各种对象的操作及编辑。例如,我们可以将一个卡通人物放在真实的场景中,或者将真人置于一个虚拟的演播室里,还可以在互联网上方便的实现交互,根据自己的需要有选择的组合各种视频音频以及图形文本对象。

MPEG-4系统的一般框架是：对自然或合成的视听内容的表示;对视听内容数据流的管理,如多点、同步、缓冲管理等;对灵活性的支持和对系统不同部分的配置。

与MPEG-1、MPEG-2相比,MPEG-4具有如下独特的优点：

（1）基于内容的交互性

MPEG-4提供了基于内容的多媒体数据访问工具,如索引、超级链接、上下载、删除等。利用这些工具,用户可以方便地从多媒体数据库中有选择地获取自己所需的与对象有关的内容,并提供了内容的操作和位流编辑功能,可应用于交互式家庭购物,淡入淡出的数字化效果等。MPEG-4提供了高效的自然或合成的多媒体数据编码方法。它可以把自然场景或对象组合起来成为合成的多媒体数据。

（2）高效的压缩性

MPEG-4基于更高的编码效率。同已有的或即将形成的其它标准相比,在相同的比特率下,它基于更高的视觉听觉质量,这就使得在低带宽的信道上传送视频、音频成为可能。同时MPEG-4还能对同时发生的数据流进行编码。一个场景的多视角或多声道数据流可以高效、同步地合成为最终数据流。这可用于虚拟三维游戏、三维电影、飞行仿真练习等

（3）通用的访问性

MPEG-4提供了易出错环境的鲁棒性,来保证其在许多无线和有线网络以及存储介质中的应用,此外,MPEG-4还支持基于内容的的可分级性,即把内容、质量、复杂性分成许多小块来满足不同用户的不同需求,支持具有不同带宽,不同存储容量的传输信道和接收端。

这些特点无疑会加速多媒体应用的发展,从中受益的应用领域有：因特网多媒体应用;广播电视;交互式视频游戏;实时可视通信;交互式存储媒体应用;演播室技术及电视后期制作;采用面部动画技术的虚拟会议;多媒体邮件;移动通信条件下的多媒体应用;远程视频监控;通过ATM网络等进行的远程数据库业务等。MPEG-4主要应用如下：

（1）应用于因特网视音频广播

由于上网人数与日俱增,传统电视广播的观众逐渐减少,随之而来的便是广告收入的减少,所以现在的固定式电视广播最终将转向基于TCP/IP的因特网广播,观众的收看方式也由简单的遥控器选择频道转为网上视频点播。视频点播的概念不是先把节目下载到硬盘,然后再播放,而是流媒体视频（streaming video）,点击即观看,边传输边播放。

现在因特网中播放视音频的有：Real Networks公司的 Real Media,微软公司的 Windows Media,苹果公司的 QuickTime,它们定义的视音频格式互不兼容,有可能导致媒体流中难以控制的混乱,而MPEG-4为因特网视频应用提供了一系列的标准工具,使视音频码流具有规范一致性。因此在因特网播放视音频采用MPEG-4,应该说是一个安全的选择。

（2）应用于无线通信

MPEG-4高效的码率压缩,交互和分级特性尤其适合于在窄带移动网上实现多媒体通信,未来的手机将变成多媒体移动接收机,不仅可以打移动电视电话、移动上网,还可以移动接收多媒体广播和收看电视。

（3）应用于静止图像压缩

静止图像（图片）在因特网中大量使用,现在网上的图片压缩多采用JPEG技术。MPEG-4中的静止图像（纹理）压缩是基于小波变换的,在同样质量条件下,压缩后的文件大小约是JPEG压缩文件的十分之一。把因特网上使用的JPEG图片转换成MPEG-4格式,可以大幅度提高图片在网络中的传输速度。

（4）应用于电视电话

传统用于窄带电视电话业务的压缩编码标准,如H261,采用帧内压缩、帧间压缩、减少象素和抽帧等办法来降低码率,但编码效率和图像质量都难以令人满意。MPEG-4的压缩编码可以做到以极低码率传送质量可以接受的声像信号,使电视电话业务可以在窄带的公用电话网上实现。

（5）应用于计算机图形、动画与仿真

MPEG-4特殊的编码方式和强大的交互能力,使得基于MPEG-4的计算机图形和动画可以从各种来源的多媒体数据库中获取素材,并实时组合出所需要的结果。因而未来的计算机图形可以在MPEG-4语法所允许的范围内向所希望的方向无限发展,产生出今天无法想象的动画及仿真效果。

（6）应用于电子游戏

MPEG-4可以进行自然图像与声音同人工合成的图像与声音的混合编码,在编码方式上具有前所未有的灵活性,并且能及时从各种来源的多媒体数据库中调用素材。这可以在将来产生象电影一样的电子游戏,实现极高自由度的交互式操作。

4．MPEG-7标准

MPEG-7标准被称为“多媒体内容描述接口”,为各类多媒体信息提供一种标准化的描述,这种描述将与内容本身有关,允许快速和有效的查询用户感兴趣的资料。它将扩展现有内容识别专用解决方案的有限的能力,特别是它还包括了更多的数据类型。换而言之,MPEG-7规定一个用于描述各种不同类型多媒体信息的描述符的标准集合。该标准于1998年10月提出。

MPEG-7的目标是支持多种音频和视觉的描述,包括自由文本、N维时空结构、统计信息、客观属性、主观属性、生产属性和组合信息。对于视觉信息,描述将包括颜色、视觉对象、纹理、草图、形状、体积、空间关系、运动及变形等。

MPEG-7的目标是根据信息的抽象层次,提供一种描述多媒体材料的方法以便表示不同层次上的用户对信息的需求。以视觉内容为例,较低抽象层将包括形状、尺寸、纹理、颜色、运动（轨道）和位置的描述。对于音频的较低抽象层包括音调、调式、音速、音速变化、音响空间位置。最高层将给出语义信息：如“这是一个场景：一个鸭子正躲藏在树后并有一个汽车正在幕后通过。”抽象层与提取特征的方式有关：许多低层特征能以完全自动的方式提取,而高层特征需要更多人的交互作用。MPEG-7还允许依据视觉描述的查询去检索声音数据,反之也一样。

MPEG-7的目标是支持数据管理的灵活性、数据资源的全球化和互操作性。

MPEG-7标准化的范围包括：一系列的描述子（描述子是特征的表示法,一个描述子就是定义特征的语法和语义学）;一系列的描述结构（详细说明成员之间的结构和语义）;一种详细说明描述结构的语言、描述定义语言（DDL）;一种或多种编码描述方法。

在我们的日常生活中,日益庞大的可利用音视频数据需要有效的多媒体系统来存取、交互。这类需求与一些重要的社会和经济问题相关,并且在许多专业和消费应用方面都是急需的,尤其是在网络高度发展的今天,而MPEG-7的最终目的是把网上的多媒体内容变成象现在的文本内容一样,具有可搜索性。这使得大众可以接触到大量的多媒体内容,MPEG-7标准可以支持非常广泛的应用,具体如下：

（1）音视数据库的存储和检索;

（2）广播媒体的选择（广播、电视节目）;

（3）因特网上的个性化新闻服务;

（4）智能多媒体、多媒体编辑;

（5）教育领域的应用（如数字多媒体图书馆等）;

（6）远程购物;

（7）社会和文化服务（历史博物馆、艺术走廊等）;

（8）调查服务（人的特征的识别、辩论等）;

（9）遥感;

（10）监视（交通控制、地面交通等）;

（11）生物医学应用;

（12）建筑、不动产及内部设计;

（13）多媒体目录服务（如,黄页、旅游信息、地理信息系统等）;

（14）家庭娱乐（个人的多媒体收集管理系统等）。

原则上,任何类型的AV（Audio-Video）材料都可以通过任何类型的查询材料来检索,例如,AV材料可以通过视频、音乐、语言等来查询,通过搜索引擎来匹配查询数据和MPEG-7的音视频描述。下面给出几个查询例子：

音乐：在键盘上弹几个音符就能得到包含（或近似）要求曲调的音乐作品列表,或以某种方式匹配音符的图象,例如,从情感方面。

图形：在屏幕上画几条线就能得到类似图形、标识、表意文字（符号）等的一组图象。

运动：对一组给定的物体,描述在物体之间的运动和关系,就会得到实现所描述的时空关系的动画列表。

电影拍摄剧本（剧情说明）：对给定的内容,描述出动作就会得到发生类似动作的电影拍摄剧本（剧情说明）列表。

四、MPEG-21标准

互联网改变了物质商品交换的商业模式,这就是“电子商务”。新的市场必然带来新的问题：如何获取数字视频、音频以及合成图形等“数字商品”,如何保护多媒体内容的知识产权,如何为用户提供透明的媒体信息服务,如何检索内容,如何保证服务质量等。此外,有许多数字媒体(图片、音乐等)是由用户个人生成、使用的。这些“内容供应者”同商业内容供应商一样关心相同的事情：内容的管理和重定位、各种权利的保护、非授权存取和修改的保护、商业机密与个人隐私的保护等。目前虽然建立了传输和数字媒体消费的基础结构并确定了与此相关的诸多要素,但这些要素、规范之间还没有一个明确的关系描述方法,迫切需要一种结构或框架保证数字媒体消费的简单性,很好地处理“数字类消费”中诸要素之间的关系。MPEG-21就是在这种情况下提出的。

制定MPEG-21标准的目的是：(1)将不同的协议、标准、技术等有机地融合在一起;(2)制定新的标准;(3)将这些不同的标准集成在一起。MPEG-21标准其实就是一些关键技术的集成,通过这种集成环境就对全球数字媒体资源进行透明和增强管理,实现内容描述、创建、发布、使用、识别、收费管理、产权保护、用户隐私权保护、终端和网络资源抽取、事件报告等功能。

任何与MPEG-21多媒体框架标准环境交互或使用MPEG-21数字项实体的个人或团体都可以看作是用户。从纯技术角度来看,MPEG-21对于“内容供应商”和“消费者”没有任何区别。MPEG-21多媒体框架标准包括如下用户需求：(1)内容传送和价值交换的安全性;(2)数字项的理解;(3)内容的个性化;(4)价值链中的商业规则;(5)兼容实体的操作;(6)其它多媒体框架的引入;(7)对MPEG之外标准的兼容和支持;(8)一般规则的遵从;(9)MPEG-21标准功能及各个部分通信性能的测试;(10)价值链中媒体数据的增强使用;(11)用户隐私的保护;(12)数据项完整性的保证;(13)内容与交易的跟踪;(14)商业处理过程视图的提供;(15)通用商业内容处理库标准的提供;(16)长线投资时商业与技术独立发展的考虑;(17)用户权利的保护,包括：服务的可靠性、债务与保险、损失与破坏、付费处理与风险防范等;(18)新商业模型的建立和使用。

五、其它压缩编码标准

1．Real Video

Real Video是Real Networks公司开发的在窄带(主要的互联网)上进行多媒体传输的压缩技术。

2．WMT

WMT是微软公司开发的在互联网上进行媒体传输的视频和音频编码压缩技术,该技术已与WMT服务器与客户机体系结构结合为一个整体,使用MPEG-4标准的一些原理。

3．QuickTime

QuickTime是一种存储、传输和播放多媒体文件的文件格式和传输体系结构,所存储和传输的多媒体通过多重压缩模式压缩而成,传输是通过RTP协议实现的。

标准化是产业化成功的前提,H.261、H.263推动了电视电话、视频会议的发展。早期的视频服务器产品基本都采用M——JPEG标准,开创视频非线性编辑时代。MPEG-1成功地在中国推动了VCD产业,MPEG-2标准带动了DVD及数字电视等多种消费电子产业,其它MPEG标准的应用也在实施或开发中,Real-Networks的Real Video、微软公司的WMT以及Apple公司的QuickTime带动了网络流媒体的发展,视频压缩编解码标准紧扣应用发展的脉搏,与工业和应用同步。未来是信息化的社会,各种多媒体数据的传输和存储是信息处理的基本问题,因此,可以肯定视频压缩编码标准将发挥越来越大的作用。