首页 | DV动态 | 数码产品 | 视频采编 | 网站建设 |
【收藏DV】
  最近3月排行
·《等待大的》大的要来了,我先润了
·曼德拉效应
·备忘:无人机相关知识
·数字经济产业五大类
浅谈基于单网结构的数字媒体存储解决方案
2006/4/17 21:22:32
 

  内容提要:本文分析了数字媒体网络化存储的需求特点,并对传统的双网结构的解决方案和近年来新提出的单网结构的解决方案进行了比较。文中重点介绍了目前三种主流的单网结构解决方案,即NAS、iSCSI、GPFS等,剖析了这几种方案的优势和不足,并对网络存储的发展方向进行了预测。

一、媒体素材数字化网络化存储的需求与挑战

    自从上个世纪八十年代以来,随着信息技术的飞速发展,计算机的应用领域逐步扩大,我们的社会已经进入了信息化、数字化、网络化的时代。人们开始慢慢抛弃了纸张、磁带等传统的记录介质,而将文字、图片、声音、视频等进行数字化存储,通过网络进行共享应用。在广电领域内,随着整个电视行业数字化改造进程的不断深入,媒体素材,主要是广播级视音频素材的数字化存储和共享,被越来越多的人认定为未来行业发展的必然趋势。

    与通常的文字、图片或数据库的存储相比较,媒体素材有很多特殊性。

    首先,数字化的视音频信号码率很大。PAL制的视频数据,如果不压缩,其码率为20MB/S,经过目前比较常用的压缩算法处理后,通常码率仍在25Mbps到50Mbps之间。在视音频编辑制作过程中,经常会出现多个画面叠加的情况,总带宽为多个原始素材码率的叠加,通常会达到100Mbps以上。

    其次,高码率必然造成对存储空间的大量占用。1个小时Mpeg I-50的视频素材,需要占用22GB的存储空间。因此在视音频系统中,存储容量通常是以TB为单位进行计算的。

    最为特别是,视音频的采集、回放等应用对网络带宽的要求必须是实时、恒定、可靠的。以PAL制视频为例,每秒钟25帧画面,也就是说每帧画面的传输时间不能长于40ms,否则画面就会出现丢帧抖动。因此网络带宽的不稳定对于视音频应用来说是致命的问题。

    还有,由于在视音频系统中,需要多人同时进行编辑制作,因此对于数据共享有很高的要求,系统必须能够支持大量并发用户的访问,并且能够方便的进行规模扩展。

二、基于FC+以太的双网结构解决方案

    a) 双网结构的提出与发展

    为了满足海量视音频素材数字化存储和再利用的需求,存储区域网(Storage Area Network)技术在广电行业内得到了大量的应用。最初的SAN是基于SCSI协议的小型系统,但由于受到SCSI协议寻址空间、传输距离、安全机制等方面的限制,很快就被基于FC的SAN取代,目前FC已经基本成为SAN的代名词。FC(Fibre Channel)实际是一种网络传输层的协议,它的特点是假设物理层链路质量可靠(使用光纤或铜缆),减少复杂的冗余校验运算,提供高速恒定的网络连接。由此可知,光纤技术只是光纤通道的一种选择。光纤通道,更准确地说FCP协议(Fibre Channel Protocol),完成了SCSI-3协议的一种串行实现,即SCSI over FC。

    在视音频应用中,一个重要的特点就是共享,为了实现SAN上的数据共享,目前通常使用SAN共享文件系统软件,如IBM Tivoli SANergy来完成。SANergy软件的工作机理是一台服务器作为MDC(Meta Data Controller),负责管理整个文件系统,SAN中其他SANergy客户端需要进行数据读写时,先向MDC申请令牌,MDC进行数据调度后方允许其操作。

这样为保证SANergy软件的正常工作,在建立FC网络之外,还需要建立以太网用于传递控制信息。与此同时,很多视音频编辑软件、媒体资产管理软件也都需要通过以太网去访问中心数据库。这就是所谓的双网结构,它由基于FC协议的光纤通道网和基于TCP/IP协议的以太网组成,其中以太网上主要传输控制信息和数据库信息,FC网络上主要传输高码率的视音频素材数据。

    b) 双网结构的优势与缺点

    基于FC+以太的双网结构的系统,最大的优点在于高性能,可以保证大数据量并发访问情况下主机读写带宽的稳定。这主要是由于FC协议在设计时充分参考了以太网协议设计中的成功和不足,扬长避短,针对性能作了大量针对性的优化。目前2Gb的光纤通道已经可以提供200MB/s的数据读写带宽。而且4Gb的FC产品也已经发布,10Gb产品的开发工作正在进行中。

    但这种架构也存在着相当多的不足。

    最主要的是其造价十分高昂,与以太网交换机相比,相同端口数的FC交换机的价格会高出数倍甚至十几倍;而在主机端安装FC HBA卡、为工作站铺设光纤等、同样价格不菲。通常认为FC SAN是存储领域中最高端的产品,只有少数几台核心服务器才会使用到它,但在视音频系统中,经常需要十几台甚至几十台、近百台工作站和服务器同时通过FC接入网络,这就造成系统成本的急剧上升。

    其次,由于FC协议发展的时间还比较短(与以太网相比),标准化工作完成得不够好,不同厂商的产品间互操作性比较差,用户在实际使用中,经常会被一些不兼容性问题所困扰,故在进行产品选择时会有很大的局限性。

    此外,光纤通道网络管理比较复杂。由于引入了很多新概念、新技术,网络管理人员在学习和掌握时会遇到很多困难;虽然各厂商近年来都在提高产品易用性和可管理性方面做了很大投入,但总体来看对FC设备进行管理维护的复杂度仍然偏高。

三、基于纯以太网的单网结构解决方案

    a) 单网解决方案的提出

    近一两年来,随着IT技术日新月异的发展,特别是千兆/万兆以太网技术的成熟、芯片处理能力的提升、iSCSI等相关标准的制定,一种面向视音频应用的基于纯以太网的单网架构解决方案开始出现,并已经在国内外诸多项目中得到了应用。这种基于单网的解决方案的特点是所有客户端工作站或服务器均通过千兆或百兆以太网(绝大多数情况下使用双绞线)访问共享的存储池,在存储服务器端根据采用技术的不同,可能会保留一个小规模的SAN环境用于核心设备之间的高速连接。这种架构消除或减少了系统对于FC接入点的需求,并且通过一定的技术手段保证客户端访问的带宽和效率,通过大量引入成熟的以太网技术简化了管理和维护,从而大幅度降低了系统的总体拥有成本(TCO)。

    目前几种常见的基于单网的解决方案主要包括NAS技术、iSCSI技术和GPFS系统等三类,以下将分别进行介绍和分析。

    b) NAS

    NAS(Network Access Storage)是一种比较传统的存储方式,简言之,NAS是特制的网络文件系统服务器。不同的厂家采取不同的特制方式,特制的内容包括系统硬件的特制、操作系统的特制和系统管理的特制;特制主要表现为系统的功能精简和性能优化。

    NAS所支持的网络文件协议通常包括NFS和CIFS。此外,HTTP、数据快照和备份服务也是常见的特点。与基于通用服务器的文件服务器不同,NAS系统是不允许安装和运行任何其他应用程序的。
    事实上,基于NAS的网络存储技术出现的比FC SAN还要早,但这种技术最大的问题在于NAS头通过NFS或CIFS协议进行网络文件共享时效率比较低,且难以保证带宽的稳定性,最初的NAS根本无法满足视音频系统对带宽的要求。随着千兆以太网技术的发展和TOE网卡的出现,现在的NAS设备已经可以满足小规模制作系统的业务需要了。上面提到的TOE(Tcp Offload Engine)网卡可以将传统上维持网络连接时由CPU负责的TCP/IP协议的封包拆包、校验运算等工作转移到网卡上由专用处理芯片完成,这样大幅度降低了系统资源占用,提高了网络带宽利用率。

    NAS系统的优点包括系统的易用性和可管理性,数据共享颗粒度细,共享用户之间可以共享文件级数据,而缺点则是系统的可扩展性差,特别是整个系统的瓶颈局限于提供文件共享的NAS头处理能力。

    c) iSCSI

    2003年2月11日,IETF(Internet Engineering Task Force,互联网工程任务组)通过了iSCSI(IP SCSI)标准,这项由IBM、Cisco共同发起的技术标准,经过三年20个版本的不断完善,终于得到IETF的认可。不久之后微软公司也正式发布了Windows Server 2003系统下的iSCSI驱动程序包,同时该iSCSI驱动还支持Windows 2000 SP3和Windows XP专业版 SP1和Windows XP 64位,微软的支持也大大促进了iSCSI的发展。

    iSCSI协议的实质是实现了基于TCP/IP网络传输SCSI指令,也就是说SCSI over IP,从本质上说它与FC协议之间的区别仅在于传输层协议的不同,而对于应用层来说是完全透明的,通过iSCSI协议可以实现对存储设备的数据块级共享访问。iSCSI协议的出现,给网络存储界带来了翻天覆地的革命。人们发现,终于有一种低价位高性能的解决方案可以满足日益增长的对数据存储的需求。

    在一个iSCSI网络中,至少由iSCSI Target和iSCSI Initiator两部分组成,其中客户端需要安装iSCSI Initiator,由它像iSCSI Target所在的IP地址的指定端口发起连接,存储设备上装有iSCSI Target,它在特定端口监听到连接后进行握手判断,最终创建出一条在TCP/IP网络中传输SCSI指令的隧道。客户端发出的SCSI指令,由Initiator加载到TCP/IP包上进行传递,当Target接收到此数据包后,再进行协议转换,从中剥离出原始的SCSI指令访问后端的存储体。客户端对于存储的访问完全基于SCSI指令集,好像是本地SCSI盘一样,这样,就通过以太网而不是昂贵的FC网突破了SCSI设备对规模和距离的限制。

    同时,iSCSI网络中还可以实现MPIO。MPIO可以使用多于一个的物理路径访问一个存储设备,通过容错或I/O流量负载均衡的方式提供更高的系统可靠性和可用性。在保护关键业务数据的存储管理方面,使用MPIO 连接iSCSI可以提供给客户额外的支持,保护数据免于丢失和系统故障。

    与使用NAS的解决方案相比,iSCSI最大的优势在于高性能,由于协议设计的高效性,基于iSCSI协议使用普通千兆网卡,可以达到110MB/s的实测带宽,几乎达到理论极限的90%。这样高的效率在NAS环境中是很难实现的。

d) GPFS

    GPFS是IBM公司近两三年来力推的一套存储解决方案,准确地说它是基于GPFS文件系统的多NAS头存储服务器。它的核心是IBM开发多年的在大型机并行计算领域得到广泛应用的GPFS文件系统,这也是一个SAN共享文件系统,在某些机理上与SANergy很类似,但由于其定位于高端,在很多特性上比SANergy有明显的优势。包括其支持PB级的单文件系统、支持并行读写同一文件、支持文件系统动态扩展、支持0秒的故障切换等,而且GPFS文件系统在所有的节点上都是以本地磁盘的形式出现的。

    GPFS解决方案的实质就是用多个安装GPFS文件系统的节点服务器,通过NFS、CIFS协议共享同一个卷。客户端对数据的访问方式与访问普通的NAS是一样的,只不过这个NAS头的性能是可以水平扩展的。当一个NAS头性能不足以满足整体系统需要时,可以通过增加一个节点的方式扩充系统整体带宽。

    但这种方式最大的弊端在于通过标准的NFS、CIFS协议无法支持多节点间的自动负载均衡,也就是说每个客户端在读写一个文件时,只能通过某个特定的节点完成,而且通常这个节点需要手工指定。这样当系统规模比较大时,为均衡节点间负载而进行的系统配置工作将会非常复杂,管理维护成本比较高。

四、未来的发展趋势

    在广电领域中,现有系统绝大部分都是基于FC+以太的双网结构,经过了大量实践的考验,应该说这种技术的成熟度是比较高的。预计在未来一段时间内,双网结构仍将在电视台视音频系统中被广泛应用。特别是随着高清时代的到来,电视节目制作对网络带宽的要求比起标清高出几倍,如果要制作无压缩的节目,每秒数据量更是惊人,达到100多MB。在这种环境下,现有技术中只有FC能够满足要求。

    但与此同时,我们也看到,近两年来基于IP的存储技术发展速度之迅猛,大大超出了人们的预估。许多业界的领导企业包括微软、思科等纷纷推出其基于IP存储的产品,传统的主流存储设备供应商如EMC、IBM、NetApp等,也都提供了基于NAS或iSCSI技术的产品供用户使用。越来越多的业内人士开始认识到IP存储是大势所趋。在广电行业内,国内外主要的非线性设备供应商都提出了基于单网的解决方案。也已经有很多系统采用了这种纯以太的单网结构,其中大部分都是规模比较小,对性能要求相对不高的工作组或频道级项目。在这种环境中,单网结构高性价比的优点发挥的尤其明显,这也是近期内单网解决方案面向的主要市场。而随着万兆以太网的出现,以太网的性能又将出现大幅度的提升,千兆到桌面将不再是一个遥远的梦想。届时,以太网和FC网之间的性能差距将进一步缩小,单网结构将能够支撑起更得大规模的标清应用,甚至是高清应用。因此,从长远的角度看,单网结构将是一种更具有发展前景的技术趋势,在未来一段时间内,它将在越来越广泛的领域内不断对传统的FC+以太的双网结构进行冲击,并最终有可能取而代之,成为数字媒体网络化存储的标准方案。
(DVOL本文转自:中国DV传媒 http://www.dvol.cn)

欢迎关注微信公众账号:手机烟台(mYantai)
 来源:大洋公司网站   

 

  上一篇:节目包装网络中的媒体文件交换格式
  下一篇:十一款DV数字视频编辑软件简介
      更多...
::打印本页 ::      ::关闭窗口::


版权所有© 数码在线网站 DV OnLine©  鲁ICP备12016322号-1