大数据存储解决方案提供商

遥感与国防 当前位置 >> 典型案例 >> 遥感与国防

北京一号小卫星(二十一世纪)应用案例

发布日期:2009-11-15


项目背景
    “北京一号”卫星是一颗能定期提供覆盖北京市的遥感影像,为北京市的城市规划、生态环境监测、重大工程监测、土地利用监测等,提供及时、可靠和优质服务的小卫星。作为该卫星的数据接收和处理单位,为配合“北京一号”卫星的性能和任务特点,北京宇视蓝图信息技术有限公司在搭建数据处理系统时,对存储系统就提出了大容量、高I/O带宽和高系统扩展性的需求。该公司在传统存储方案与我公司提出的基于蓝鲸集群文件系统BWFS的存储解决方案之间进行了充分的论证和对比后,最后选用了蓝鲸集群文件系统来实现该数据处理系统中的存储系统的搭建。
    目前,遥感信息处理应用主要通过NAS完成数据的存储和备份,采用分布式文件系统进行预处理,从流程可以看出,遥感数据是由多个处理系统共享的,而目前的结构没有实现数据的集中共享,经过对系统的运行情况分析,主要原因如下:
    目前市场上的NAS产品无法满足处理过程中对I/O的需求。
    由于前处理、后处理和备份采用的操作系统平台不同,而目前采用的分布式文件系统无法实现对数据的跨平台共享。
    因此,采用这种结构,在处理过程中需要多次导入导出数据,造成了带宽和存储资源的浪费,增加了备份和数据管理的复杂程度。数据的分散存储和处理,即不利于保证数据的可靠性,也不利于控制数据的安全性(如敏感数据等)。另外,由于目前的系统无法提供充足的I/O带宽,使得遥感处理应用软件在设计中需要考虑存储系统带宽对计算性能的影响,增加了算法设计和实现的复杂度。

 

解决方案
    为解决以上现有存储系统存在的问题,该项目采用BWStor CSA作为计算节点及工作站的集中存储系统,系统中所有的计算节点、工作站通过高速互联网络与BWStor CSA互连。采用BWStor CSA以后,采集数据直接导入到BWStor CSA中,计算节点集群直接通过BWStor CSA读取原始数据进行计算,并将计算结果直接存储到BWStor CSA中;工作站也通过BWStor CSA直接读取经过前处理后的数据并进行后处理,再将处理结果直接存储到BWStor CSA中。最后,备份系统将BWStor CSA中的数据直接备份到备份介质中。
    这种结构实现了数据的集中共享和分布处理,减少了数据的冗余,降低了管理的复杂度。BWStor CSA可以很好的支持跨平台的数据共享,提供超过数百MB/s的数据带宽,有效地保证了前处理和后处理的带宽需求。
    BWStor CSA具有良好的兼容性和对异构平台的支持能力,运行在计算节点、工作站和备份服务器等不同操作系统平台中的应用程序,不需要进行任何修改就可以直接利用BWStor CSA实现文件共享。
    此外,BWStor CSA可以动态扩展存储容量和存储带宽,有效地支持处理系统的扩展。

 

 

 


应用效果
    1、高的IO吞吐率和强大的并发处理能力,能够有效的支持卫星影像处理的应用。在1000M网络、Windows操作系统环境下,随着计算节点的增加,数据带宽的可扩展性非常明显,读写带宽都达到数百MB/s以上,大大地提高了系统的处理能力,缩短了整个处理周期,效率高达3倍以上。
    2、支持多种异构平台文件级共享后端存储系统,能够支持Windows操作系统和Linux操作系统用户并发访问文件存储系统,数据无需在不同系统中多次拷贝。
    3、良好的扩展能力,性能随着客户端增加基本呈线性增长,透明的支持客户端容量在线扩展,增加并发用户时,几乎不影响其它客户端的访问性能。能动态扩展存储容量,为“北京一号小卫星”数据处理系统的存储系统的扩容做好准备。
    4、该遥感信息处理应用单位通过使用BWStor CSA,系统性能得到了明显提高,实现了海量数据的集中存储和共享服务,提高了存储设备的利用效率,降低了在存储设备上的投资。

该套系统已运行4年并进行了2次升级扩容并至今仍在持续运行。