H.264，同时也是MPEG-4第十部分，是由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的高度压缩数字视频编解码器标准。H.264格式是一种近年来兴起的，具有高精度画质的视频压缩格式。
　　基本概况

　　随着HDTV的兴起，H.264这个规范频频出现在我们眼前，HD-DVD和蓝光均计划采用这一标准进行节目制作。H.264是一种高性能的视频编解码技术。目前国际上制定视频编解码技术的组织有两个，一个是“国际电联（ITU-T）”，它制定的标准有H.261、H.263、H.263+等，另一个是“国际标准化组织（ISO）”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。而H.264则是由两个组织联合组建的联合视频组（JVT）共同制定的新数字视频编码标准，所以它既是ITU-T的H.264，又是ISO/IEC的MPEG-4高级视频编码（Advanced Video Coding，AVC），而且它将成为MPEG-4标准的第10部分。因此，不论是MPEG-4 AVC、MPEG-4 Part 10，还是ISO/IEC 14496-10，都是指H.264。

　　H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。举个例子，原始文件的大小如果为88GB，采用MPEG-2压缩标准压缩后变成3.5GB，压缩比为25∶1，而采用H.264压缩标准压缩后变为879MB，从88GB到879MB，H.264的压缩比达到惊人的102∶1。H.264为什么有那么高的压缩比？低码率（Low Bit Rate）起了重要的作用，和MPEG-2和MPEG-4 ASP等压缩技术相比，H.264压缩技术将大大节省用户的下载时间和数据流量收费。尤其值得一提的是，H.264在具有高压缩比的同时还拥有高质量流畅的图像，正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。

　　H.264标准

　　H.264和以前的标准一样，也是DPCM加变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获得比H.263++好得多的压缩性能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输（存储）场合的需求。

　　技术上，它集中了以往标准的优点，并吸收了标准制定中积累的经验。与H.263 v2(H.263+)或MPEG-4简单类(Simple Profile)相比，H.264在使用与上述编码方法类似的最佳编码器时，在大多数码率下最多可节省50%的码率。H.264在所有码率下都能持续提供较高的视频质量。H.264能工作在低延时模式以适应实时通信的应用(如视频会议)，同时又能很好地工作在没有延时限制的应用，如视频存储和以服务器为基础的视频流式应用。H.264提供包传输网中处理包丢失所需的工具，以及在易误码的无线网中处理比特误码的工具。 　　在系统层面上，H.264提出了一个新的概念，在视频编码层(Video Coding Layer,VCL)和网络提取层(Network Abstraction Layer,NAL)之间进行概念性分割，前者是视频内容的核心压缩内容之表述，后者是通过特定类型网络进行递送的表述，这样的结构便于信息的封装和对信息进行更好的优先级控制。H.264的系统编码框图如图1所示。

　　发展历史

　　H.264是ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）的联合视频组（JVT：joint video team）开发的一个新的数字视频编码标准，它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10 部分。1998年1月份开始草案征集，1999年9月，完成第一个草案，2001年5月制定了其测试模式TML-8，2002年6月的 JVT第5次会议通过了H.264的FCD板。2003年3月正式发布。在2005年又开发出了H.264的更高级应用标准MVC 和SVC版本.

　　技术背景

　　H.264标准的主要目标是：与其它现有的视频编码标准相比，在相同的带宽下提供更加优秀的图象质量。

　　H.264与以前的国际标准如H.263和MPEG-4相比，为达到高效的压缩，充分利用了各种冗余，统计冗余和视觉生理冗余。

　　1．统计冗余：频谱冗余（指色彩分量之间的相关性），空间冗余，还有时间冗余。这是视频压缩区别于静止图像的根本点，视频压缩主要利用时间冗余来实现大的压缩比。

　　2．视觉生理冗余

　　视觉生理冗余是由于人类的视觉系统（HVS）特性造成的，比如人眼对色彩分量的高频分量没有对亮度分量的高频分量敏感，对图像高频（即细节）处的噪声不敏感等。

　　针对这些冗余，视频压缩算法采用了不同的方法加以利用，但主要的考虑是集中在空间冗余和时间冗余上。H.264也采用混合(hybrid)结构，即对空间冗余和时间冗余分别进行处理。对空间冗余，标准通过变换及量化达到消除的目的，这样编码的帧叫I帧；而时间冗余则是通过帧间预测，即运动估计和补偿来去除，这样编码的帧叫P帧或B帧。与以前标准不同的是，H.264在编码I帧时，采用了帧内预测，然后对预测误差进行编码。这样就充分利用了空间相关性，提高了编码效率。H.264帧内预测以16x16的宏块为基本单位。首先，编码器将与当前宏块同一帧的邻近像素作为参考，产生对当前宏块的预测值，然后对预测残差进行变换与量化，再对变换与量化后的结果做熵编码。熵编码的结果就可以形成码流了。由于在解码器端能够得到的参考数据都是经过反变换与反量化后的重建图像，因此为了使编解码一致，编码器端用于预测的参考数据就和解码器端一样，也是经过反变换与反量化后的重建图像。

　　特征优势

　　H.264是国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的继MPEG4之后的新一代数字视频压缩格式，它即保留了以往压缩技术的优点和精华又具有其他压缩技术无法比拟的许多优点。

　　1．低码率（Low Bit Rate）：和MPEG2和MPEG4 ASP等压缩技术相比，在同等图像质量下，采用H.264技术压缩后的数据量只有MPEG2的1/8，MPEG4的1/3。 　　显然，H.264压缩技术的采用将大大节省用户的下载时间和数据流量收费。

　　2．高质量的图象：H.264能提供连续、流畅的高质量图象（DVD质量）。

　　3．容错能力强：H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。

　　4．网络适应性强：H.264提供了网络抽象层（Network Abstraction Layer），使得H.264的文件能容易地在不同网络上传输（例如互联网，CDMA，GPRS，WCDMA，CDMA2000等）。

　　性能比较

　　TML-8为H.264的测试模式，用它来对H.264的视频编码效率进行比较和测试。测试结果所提供的PSNR已清楚地表明，相对于MPEG-4（ASP：Advanced Simple Profile）和H.263++（HLP：High Latency Profile）的性能，H.264的结果具有明显的优越性。

　　H.264的PSNR比MPEG-4（ASP）和H.263++（HLP）明显要好，在6种速率的对比测试中，H.264的PSNR比MPEG-4（ASP）平均要高2dB，比H.263（HLP）平均要高3dB。

　　6个测试速率及其相关的条件分别为：

　　32 kbit/s速率、10f/s帧率和QCIF格式；
　　64 kbit/s速率、15f/s帧率和QCIF格式；
　　128kbit/s速率、15f/s帧率和CIF格式；
　　256kbit/s速率、15f/s帧率和QCIF格式；
　　512 kbit/s速率、30f/s帧率和CIF格式；
　　1024 kbit/s速率、30f/s帧率和CIF格式。


　　H264编码

　　H.264的目标应用涵盖了目前大部分的视频服务，如有线电视远程监控、交互媒体、数字电视、视频会议、视频点播、流媒体服务等。H.264为解决不同应用中的网络传输的差异。定义了两层：视频编码层（VCL：Video Coding Layer）负责高效的视频内容表示，网络提取层（NAL：Network Abstraction Layer）负责以网络所要求的恰当的方式对数据进行打包和传送。

　　基本层次（Baseline Profile）：该层次使用了H.264的除了B-Slices，CABAC以及交织编码模式外所有的特性。该层次主要使用于低时延的实时应用场合。

　　主要层次（Main Profile）：包含Baseline profile的所有特性，并包括了B-slices，CABAC以及交织编码模式。它主要针对对时延要求不高，当压缩率和质量要求较高的场合。

　　扩展层次(Profile X)：支持所有Baseline profile的特性，但不支持CABAC以及基于宏块的自适应帧场编码。该层次主要针对的时各种网络视频流传输方面的应用。

　　H.264解码

　　由于目前蓝光格式的统一，使得市面上绝大多数的高清视频均是采用H.264的格式编码，它又分为四个最主要步骤，分别是流处理，逆变换，动态补偿，去方块滤波，这四步也是资源消耗的主要四个部分。

　　H.264解码的四个步骤中的第一步“CAVLC/CABAC解码”是最为消耗运算资源，这方面远高于其他三步（简单的说，CAVLC/CABAC是H.264编码规范中两种不同的算法，都是为了提高压缩比，其中CABAC比CAVLC压缩率更高，但解码时自然也要求更高）。

　　如果所有四个步骤全采用处理器纯软件解码运算，当碰上HDDVD版本的高码率H.264视频，处理器的负载会非常巨大，即使能流畅播放高清视频，也会因为处理器压力过重而影响其他同时开启的应用程序的执行效率。

　　如果让处理器解码“CAVLC/CABAC解码”和“反向转换（Inverse Transformation）”两部分，由显示核心承担“运动补偿”和“解码去块”功能，则可以在一定程度上降低处理器的压力。不过对于使用单核处理器或低端双核处理器的用户来说，这依然无法很好的应付这类视频；其次，碰上编码率更高的视频，依然会给处理器造成很大的处理难度，导致视频播放的不确定性，可能消费者会遇到某些视频可以流畅播放，但是有些视频却丢帧的情况。

　　通过以上两点可以看出，由显示核心承担全部的H.264视频解码和处理过程，让其解码运算可以基本不依赖处理器将是最为经济、便捷的方法。如果能实现这一点，以后消费者就无需过分担心自己的处理器性能如何，不同的视频编码率导致的负载差距过大等等问题，只要选择一颗能支持“H.264全解码”的显示核心，就能无所顾忌的播放所有高清视频，而采用了高清加速引擎的英特尔GMA X4500HD芯片组则能够轻松全程解码H.264格式的高清视频，再加上高级去交错技术、电影模式检测、细节增强技术、ProcAMP技术和最新的显示连接技术则能够从图像品质、色彩饱和度以及高清接口等方面提升用户的高清体验。

　　关于H.264的六个问题

　　(1) H.264是国际标准吗?为何说H.264要比其他压缩技术更具前景？

　　和此前的视频压缩技术如H.263不同的是，H.264虽然仍然是ITU-T体系之下的命名规范，却大量借鉴了ISO/IEC的相关规范和研究。具体而言，ITU-T之下的视频编码专家组（Video Code Expert Group，VCEG）确立了H.264，而ISO/IEC之下的运动图像专家组（MPEG）则将其命名为MPEG-4Part10/AVC。这两个专家组织共同制定了该标准。

　　因此，H.264和此前的视频压缩技术相比，既是行业标准，同时也是国际标准。此前ITU-T制定的视频标准，因为和ISO/IEC的MPEG系列标准存在兼容性问题，所以严格意义上并没有合适的、较为统一并为设备商们全体遵循的全球性国际标准。

　　和此前的压缩技术相比，H.264的优势主要体现在下面几个方面：

　　1． 精确匹配解码，避免错误累积；

　　2． 更简单的规范实施；

　　3． 强大的容错能力；

　　4． 高效压缩，比其他视频压缩能力高50%以上；

　　5． 时延级差，以适应更多应用环境等。

　　(2) H.264是标准体系，还是单一性标准？H.264的总体优缺点如何？有没有不足之处？

　　VCEG和MPEG联合开发H.264标准带来的最大好处就是，有助于H.264在全球范围内的设备统一化，推广起来更为简便。但是和此前的视频标准一样，为了使得应用范围更广，H.264也还是通过等级区别和类别算法对多种应用场景进行各自的协议支持。

　　H.264可以提供11个等级、7个类别的子协议格式（算法），其中等级定义是对外部环境进行限定，例如带宽需求、内存需求、网络性能等等。等级越高，带宽要求就越高，视频质量也越高。类别定义则是针对特定应用，定义编码器所使用的特性子集，并规范不同应用环境中的编码器复杂程度。

　　H.264除了在技术上的优势，应用上的优点主要体现在被更广泛地接受，成为统一性的全球标准，可以降低总体应用成本。当前主要缺点是：对终端（网络摄像机、显示终端）要求更高。另外，对于家庭用户而言，解码回放设备价格过高，导致目前普及上存在一定的困难。

　　(3) 当前H.264主要用在哪些领域？视频监控是主体方向吗？

　　视频监控是H.264部署的重要方向之一，这得益于H.264强大的压缩能力、通用性，以及对网络性能的容忍能力。但H.264的应用领域极为宽泛，视频监控只能是其主要的应用方向之一，而不能视作主体方向。可以说，当前所有的视频应用，都可以通过H.264获得高质量的实现，例如数字电视广播、高清电视、在线视频的存储和点播、3G视频电话等等。

　　(4) H.264相关技术在中国市场有没有大的应用（高于企业级）？

　　中国是H.264部署较为活跃的国家，特别在视频监控行业，中国的投资巨大，但相关的市场总投入目前并无合适估算。原因在于，交通、公安，以及国家重点行业的视频设备尤其是高清视频设备部署情况并不是特别公开。

　　2008年奥运会，成为中国部署H.264视频监控的一个重要阶段。此外，中国电信在早期阶段进行的IPTV测试中，也大量采用了H.264技术，虽然后续中国电信也开始对国产视频标准AVS，但对H.264的测试和跟踪仍然在继续。中国电信“全球眼”业务当前已经开始在一些局部地区大量采用H.264技术，并和现有专网视频业务进行混合方案的提供，效果良好，这是当前中国乃至全球范围内覆盖最大、专项业务线最为全面的业务类型。

　　(5) 中国在H.264方面的进展如何？自主技术方面有哪些突破？

　　鉴于H.264作为全球通用标准的优势，国内大部分企业在部署新的视频应用时都有可能采用H.264，并且，正因为应用的广泛性，H.264的相关设备价格将会迅速下降，部署成本也将因此得以降低。H.264编解码设备核心芯片为国外产品，系统整合和算法国内企业已解决。

　　中国的广电系统和电信运营商曾经将H.264作为主要的推动方向，并取得了一系列的成绩。在目前电信已经实行运营的IPTV项目中，几乎全部采用了H.264; 广电系统的各大电视台在进行从模拟向数字转换，以及网络双向改造中，也大量采用了H.264技术标准。

　　而随着中国第二代具有自主知识产权的视频编码标准AVS（信息技术先进音视频编码）出台，情况发生了变化。由于AVS对比H.264算法更为简便，专利授权模式和收费都较为便利和低廉，并且和H.264在编解码、压缩上处于同一水平，因此中国开始大力推广AVS的应用及产业链打造。国家正在努力构建对AVS产业链的政策扶持和资金扶持，以促进AVS逐步走向快车道。从目前看，AVS标准已经看到H.264的应用广泛程度和后续竞争的存在，很多公司在开发AVS的同时，积极将AVS纳入到和H.264兼容的体系中，这将有利于推动AVS的发展，并在后续过程中，相互竞争的同时，为AVS的发展争取更多的空间。

　　(6) H.264标准技术的采用，将会带动哪些上下游产品和应用的迅速发展？

　　总体而言，H.264标准被视做下一代视频编解码应用的最佳实现之一，被普遍认为会是将来更具竞争力的标准。

　　H.264的应用，至少能够促进以下几个方面的发展：

　　1． 视频监控的全IP化和高清化；
　　2． 高清摄像机市场的发展；
　　3． 蓝光DVD及上下游硬件设备的发展；
　　4． 局域网容量需求的上升，以及由此带动的网络存储容量升级；
　　5． 数字电视、IPTV发展的提速，以及上下游产品和内容源质量提升；
　　6． 网络带宽的进一步升级等。 (DVOL本文转自：中国DV传媒 http://www.dvol.cn)