作者： 青岛电视台 吕 力 任相军 郝鹏飞 摘要：由于视音频的数据量巨大，数据存储技术在整个视频网络系统中就凸现重要。本文在介绍视频网络若干相关技术的基础上，重点就视频服务器集群技术展开系统讨论，并结合青岛电视台广告硬盘插播网络的实践，给出相应的实例系统图，让读者有所了解。 随着相关技术的不断发展，视频网络在广播电视领域全面应用已是大势所趋。其实质是用于采集、处理、交换以及传输视音频数据的计算机网络，由于视音频的数据量巨大，对存储设备和存储系统都提出了许多特殊要求。 1 视频网络相关技术 在实践中，大量视音频信号的采集、处理、交换和传输往往与网络资源的有限相冲突，较好地解决这个矛盾，一直是视频网络技术发展所追求的目标。目前在技术上主要从两个方面来解决：一、对视音频的素材信号进行压缩处理，减少存储的空间；二、对网络资源进行挖掘，利用新技术的发展，尽量多地存储素材数据。 1.1 视音频信号压缩技术--MPEG标准 MPEG即动态图像专家组。在MPEG压缩格式标准中，符合广播级数字信号标准的是MPEG-2格式。MPEG-2提供广播级的图象和CD级的音质，可提供一个较大范围的压缩比，以适应不同画面质量、存储容量以及带宽的要求。传输率在3～10Mbit/s间。同时还有MPEG-1、MPEG-4以及MPEG-7的标准。 1.2 视音频信号存储系统技术 视频网络的存储设备及存储系统涉及以下技术： （1）磁盘驱动技术 视频网存储系统中，要求磁盘驱动器具有较大的存储容量和较高的磁盘转速。硬盘容量已从9G（只能存储几分钟JEPG压缩的视音频数据）扩大到181G（可存储十几个小时经MPEG-2压缩的视音频数据），而磁盘驱动器转速则要求达10000转/s以上。 （2）数据保护与RAID技术 RAID是用某种逻辑方式将一组硬盘联结为一个硬盘来使用。视频网存储系统常用RAID技术有RAID0、RAID1、RAID3、RAID5，仅提供一层简单的容错功能。 （3）接口技术 视频网存储系统中，存储接口有SCSI接口和光纤接口，其中SCSI接口带宽已从不足15Mb/s扩大到40Mb/s左右（Ultra SCSI）；光纤接口带宽已达2Gb。 （4）网络技术 目前几乎所有的高速实时视频网都是以光纤通道（FC）联机存储系统为核心，铺以高速交换式以太网建立起来的，即双网结构，利用FC网能提供实时的广播级视音频数据访问的特点，而由以太网提供低质量视频信号传输、控制及网络管理。此外还涉及数据库管理及视音频文件结构等技术。 2 视频网络数据存储——服务器集群 群作为一种系统结构引入服务器，它可以仅由软件组成，也可以由硬、软件组合构成，集群就是由各种硬、软件组件构成的集成系统。目前视频网中采取了两种服务器集群方式： 2.1 集中式共享存储 SAN(Storage Area Networks)网的存储系统就是一种典型的、采用服务器集群方式、数据集中存放在中央存储器的共享存储系统。SAN网是一种直接面对存储体的光纤通道网络。如图1所示。SAN网一般采用的“仲裁环”结构能连接8个左右的客户端，若采用复用结构，客户端的数量更可以扩充至上千万个。SAN网中还可采用双环方式，在计算机与存储设备之间建立多条通道。 采用SAN网结构的视频网存储系统具有以下特点：共享大容量存储设备；具有高速存储设备传输通道；存储设备配置灵活并兼容原有的存储设备；能快速数据备份等。 2.2 分布式共享存储 传统计算机网络系统采用直接附加存储方式。这种方式是以服务器为中心，其存储设备（包括磁盘阵列、磁带库、光盘库等）作为服务器的外设使用。在这种模式下数据传输的瓶颈主要集中在服务器上，当多客户端访问存取同一个服务器时，一旦超出该服务器的处理能力，无论服务器与存储设备间通过SCSI还是高速光纤接口连接，都不可避免地导致存取速度的下降，从而影响整个系统性能。 网络连接存储器（NAS）采用媒体集群技术，它将存储设备分布在各服务器内，为各个服务器所共享，上载到某一服务器上的视音频素材数据经过处理后被存储到服务器硬盘内，从而有效地解决了传输带宽和数据安全的问题。图2为5节点的NAS图。 NAS网具有以下特点：任何一个节点的网络带宽是独享的，网络带宽的利用率可达90%；是一种负载均衡的结构，当某一节点发生故障时，其余节点仍可通过网络自动均衡分担对损坏节点的服务请求；采用多级故障自恢复技术，以实现服务器的交叉备份功能等。3 视频网络存储管理——虚拟存储器 从虚拟存储的拓扑结构看有两种方式：对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储管理软件系统、交换设备集成为一个整体，内嵌在网络的数据传输路径中。非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。 3.1 对称式虚拟存储 对称式虚拟存储技术的代表是SDD（SAN DataDirector）技术。采用SDD技术的网络结构图如图3所示。 在SAN网络结构中，主机通过交换机与存储设备连接。当主机与存储设备之间进行数据传递时，数据在主机端口会发生延时，当多台主机的数据流通过一个存储端口写入磁盘阵列时，会发生冲突，交换机会花大量的时间来解决这些数据包的重新排序问题，这就大大降低了数据传输的性能与效率。 SDD是一种新型的集中存储控制技术，它将交换、缓存、RAIN、I/O、ASIC及数据与文件的管理于一身，并可完成数据和网络的管理，为数据交换提供高宽带、高容错的集中存储访问。SDD通过HPPT（高并行端口技术）可以有效地解决交换机带来的延时与冲突碰撞问题。这是因为SDD的所有主机端口对于数据完全是并行访问的。在纯SDD环境中，由于没有交换机的影响，延时与冲突被降低到最小限度。SDD内部有两个完全相同的组件HSTD（高速流量控制），每个HSTD还有一个60芯的数据总线，用于和硬盘阵列相连完成数据交换，HSTD有四个100Mb/s带宽流量的数据交换端口HOST，这样单个SDD就拥有800Mb/s带宽。HOST端口可直接与服务器、工作站相连。与传统SAN相比，SDD具有以下显著特点： （1）SDD网络结构简单，FC交换机与SDD控制器相连，使其处于并行工作状态，大幅提高了带宽处理能力。增加站点时，只需将新交换机直接接入SDD即可，因而其扩展性能好，便于升级。 （2）在SDD网中，FC交换机与SDD控制器之间采用双链路备份，容错能力强。SDD网的容错能力还体现在RAID结构上，如图4所示。采用SDD技术的S2A系列产品的RAID结构就采用两级RAID，一是在磁盘阵列内，例如S2A6000是在10个磁盘通道上做RAID，读写一个RAID时，对磁盘的访问是同时并发的，是真正的RAID3。而传统RAID一般是一个FC磁盘阵列中会有两个环路（LOOP）,每个环路中对磁盘的访问是顺序的，环路中磁盘数量有限，起码需要两个RAID组，当总存储容量达到Tb级以上时，系统中会出现十几个盘符甚至几十个盘符，从而降低了系统的稳定性，加大管理难度，也消耗了系统资源。当某一磁盘发生故障时，不会影响整个RAID组，然而，当磁盘阵列发生故障时，将导致其整个RAID组数据丢失。而S2A的RAID在磁盘阵列之间也做了RAID，即在RAID3的基础上再将多个RAID组以RAID0方式捆绑。这样，不仅起容量可增加大到几个Tb，而且由于带宽集中利用，单分区带宽可达360Mb/s以上，同时大大提高了存储系统的容错能力。 3.2 非对称式虚拟存储 采用非对称式虚拟存储控制技术的网络结构如图6所示。图中，主机可直接经过交换机访问存储设备，外部虚拟存储控制器（SVM）只对各存储设备进行配置，然后把配置信息提交给所有主机；各主机在访问存储系统时，不再经过虚拟存储控制器，而是直接使所有存储设备并发工作，同样达到了扩大传输带宽的目的。这种虚拟存储控制器处于数据通道之外，不直接参与数据传输。SVM具有以下特点： （1）系统没有数据通道的限制，其带宽取决于所含存储设备数量，因而带宽扩展能力很强。 （2）虚拟存储控制不占用实际数据通道，其硬件性能不会成为系统带宽的瓶颈，而且即使其出现故障，也不会引起网络系统数据通道的堵塞。 （3）SVM只是对所有存储设备进行软件配置并将其信息送给各个主机，无需大量高价位的硬件配件。存储系统中存储设备不受型号和生产厂家的限制，系统配置灵活、开放性好。 （4）采用SVM后，系统仍保持标准的SAN结构，有利于系统扩展与互连。 4 青岛电视台广告硬盘插播网络的实现 青岛电视台广告硬盘插播网络系统采用Leitch NEXIO视频服务器，其中四台视频服务器作为两组互为镜相结构的主、备播出设备，另外一台作上载设备，再通过光纤直接送到硬盘中存储。网络中包括视频服务器和数据库服务器：视频服务器的安全可靠与否直接关系到播出的安全与否，我们在播出通道采用主备冗余方式，并分布在不同的服务器中。数据库服务器是整个系统的数据存储中心，存储的数据包括素材管理信息、总编室节目库、总编室节目单、播出串联单、系统\人员设置、设备检测状态、播出/上载/系统操作日志等信息。因此数据库服务器设计成主备方式，其主备同步数据的方式与效率相当高。 该网络采用双SAN存储共享技术，在采用集群技术和虚拟存储技术之外，还充分利用MEPG标准不同格式的内在联系，以减少网络存储容量和传输带宽的难题。从系统结构图中可以看到，该系统中每个工作站上安装了两块网卡，其中一块网卡用于数据网、一块用于控制网。数据网为100M网，为所有控制工作站、视频服务器、数据库服务器之间数据信息交换网。控制网为所有控制工作站与设备控制服务器之间控制命令交换及时间同步的专用网络。这样使这两个网络成为互为冗余备份网络，当某一个网络出故障时，可以临时双网合一使用，综合考虑了安全性和适用性。双网结构另一个优越性还体现在时间同步方面，通过双时间服务器、双网卡来进行网络校时可确保时间系统绝对安全可靠。 (DVOL本文转自：中国DV传媒 http://www.dvol.cn)
