大数据存储解决方案提供商

媒体报道 当前位置 >> 新闻中心 >> 媒体报道

中国安防产品网:解决方案三--大规模视频监控存储方案

发布日期:2009-08-06

   http://www.secu.com.cn/news/view/200908/0662912.shtml

日期:2009-08-06 来源:中国安防网

  

    BWStor网络存储系统由多个冗余存储控制器和冗余元数据控制器组成,内嵌BWFS集群文件系统。元数据控制器负责元数据处理、存储虚拟化、资源管理、系统的监控管理、系统的安装等,是BWStor网络存储系统的核心部件。

 

    应用需求 
    平安城市等超大规模视频监控应用,要求:
    存储容量支持达到1000TB以上。
    存储系统要求高可用,数据存储安全、稳定。
    合理的初期建设成本,低廉的未来扩容、系统运行、售后服务成本。
    保证多计算节点的访问I/O性能。
    支持10000路以上的视频录像。
    支持1000路以上的历史回放码流(视频点播)。
    支持多个录像服务器和点播服务器共享存储空间(同时读写)。 

 

    技术分析 
    该监控系统因为需要大量的服务器支持码流的写入和点播,传统的管理平台已经不能满足要求,新的管理平台可以支持以下特性:
       1.  录像服务器和点播服务器分离。
       2.  录像服务器和点播服务器支持负载均衡。
       3.  录像服务器和点播服务器可以互为冗余。
然而,以上特性需要存储系统满足以下要求:
    存储系统需要支持统一的文件共享存储空间,每个服务器可以看到相同的存储空间,从而支持服务器的写入和点播分离,负载均衡和冗余。
    文件并发读写的性能满足上万路的写入和1000路以上的读出。
    系统的容量和性能都可以在线扩展。
    系统具备很高的可靠性,视频存储系统整体在磁盘、网络、控制器等所有IO路径上都有可靠性和连续性技术保障。 


    存储方案 
    以上需求通过使用传统的网络存储设备显然无法得以满足,但通过中科蓝鲸的集群存储系统可以实现高性价比的方案,方案结构如下:

 

 

 
    方案说明
    数据中心放置一套BWStor网络存储系统。所有前端服务器通过IP网络连接到BWStor网络存储系统。所有录像服务器和点播服务器可以共享访问BWStor网络存储系统,支持全局命名空间。 


    BWStor网络存储系统由多个冗余存储控制器和冗余元数据控制器组成,内嵌BWFS集群文件系统。元数据控制器负责元数据处理、存储虚拟化、资源管理、系统的监控管理、系统的安装等,是BWStor网络存储系统的核心部件。与普通NAS系统的区别是,元数据控制器不对数据进行读写,而由应用服务器直接和存储控制器交互,将控制通路和数据通路切分,极大地提高了系统的可扩展性和数据处理性能与读写带宽。存储控制器主要负责高性能的数据直接读写服务,能够提供高数据带宽和并发访问带宽,是BWStor网络存储系统的数据存储和访问点。 

 

    BWStor内部采用了模块化冗余结构,最大化保证数据的安全和服务的持续性。本方案采用了冗余特性的存储设备、元数据/存储控制器冗余热备,从而实现在任意部件损坏时,整个系统仍可正常工作。
方案优点
    1.  共享访问方式便于实现前端服务器的负载均衡-BWStor网络存储系统为前端访问节点提供了数据的共享访问,有利于前端服务器负载均衡的实现;同时基于共享的访问方式,使回放服务器能更方便的调用各视频服务器所采集的视频影像。
    2.  带外访问高聚合带宽-BWStor网络存储系统基于带外访问模式,将元数据与数据相分离,数据写入、读取直接访问存储设备,存储带宽为多存储控制器的聚合带宽,性能上相比传统NFS等NAS结构有了大幅度提高,同时解决了NAS文件系统多进程访问易死机的状况。
    3.  充足的存储空间最佳的利用率-基于SAN架构的BWStor网络存储系统,可以为监控系统提供足够的存储空间,同时保证存储系统内部空间的按需动态划分,提高利用率、降低无效空间的浪费,最大限度的保护用户投资。

    4.  在线扩展存储空间和视频监控服务器-BWStor可以在不影响前端服务器的情况下在线扩充存储设备,而且随存储设备的扩充,BWStor所提供的接口带宽也线性扩展,IO性能可以满足6000路以上1Mbps码流并行存储的需求,充分满足大规模计算容量、性能需求。  
    5.  高可用、高稳定、高可靠-支持元数据控制器FailOver(1+1);存储控制器冗余,采用N+1冗余配置;BWStor在硬件设计上采用模块化和无线缆连接设计,磁盘到控制器之间没有传统的SATA线缆,提高数据信号的传输质量,保证系统长时间连续稳定运行;系统支持硬件Raid和后备电池,保证数据长期可靠的保存;整体系统方案没有单点故障,在任意硬件出现故障时,不会影响系统的连续运行,监控业务不会中断。
    6.  可靠的后续建设保障-该存储系统软件为完全自主研发,属于存储系统中的核心软件,这就保证了能够根据用户的实际使用状况有针对性的进行底层优化。这点是目前国内在售的任何存储系统无法比拟的。