SUN打造地理信息异地存储备份的实例

2008-1-18  选择字号:  | |
打印本文章

  近十多年间,国家基础地理信息中心先后建成了国家基础地理信息系统1:400万、1:100万、1:25万等地图数据库。目前,中心计算机系统中存储与运行的各类“在线”成果数据约为6TB,随着“数字中国”地理空间基础框架建设进程的发展,数据容量还在以每年TB级增加。

  保持业务的持续性和数据的完整性是当今基础地理信息系统数据存储需要优先考虑的一个重要方面,采取远程的数据存储、备份与恢复手段,能够提高基础地理信息系统的高可靠性。

  异地存储备份系统概貌

  异地存储备份系统主要预防不可抗拒或不可预知的事件带来的数据不可用性,可将灾难造成的数据不可用性减到最小,即当灾难发生时,异地存储备份系统保证:

  1、数据在远程场地存有完全一致和可用的拷贝,数据延迟时间控制在可接受的时间之内;

  2、应用可以在远程现场及时运行。

  由上可知,异地存储备份系统的核心就在于在异地将灾难化解:一是保证数据中心的数据安全;二是保证业务的连续性。异地存储备份系统的关键技术包括网络技术、存储备份技术、数据复制和应用的远程切换技术。

  异地数据存储备份有很多种类型,从业务不间断级别来分析,异地存储备份方案有冷异地存储备份、温异地存储备份和热异地存储备份三种类型。

  一般来说,异地存储备份应用的要求越高、异地存储备份距离越远,实现异地存储备份方案的成本也越高。根据中心业务需求和投资情况,最终选择了基于广域网的温异地数据存储与备份方案。

  数据存储与备份

  温异地数据存储备份主要有两种实现方式,一种基于硬件的远程数据镜像和复制;另一种是基于软件的远程数据镜像和复制。

  基于硬件的数据镜像和复制是通过磁盘阵列控制器来获得主、副存储子系统之间同步/异步数据镜像的能力。其优点是对主机的资源占用很小,能保证业务正常运行下的I/O响应;缺点是占用大量的磁盘阵列资源,降低存储设备的性能,而且仅能实现数据的远程复制,对于应用的切换还需要软件来实现。另外,这种方法比较依赖硬件环境,就是说在异地站点要配置和本地站点相同的硬件才能完成异地存储备份功能,成本相对较高。

  基于软件的数据镜像和复制是通过软件形式实现的数据异地存储备份方法。现在有许多公司都有这种基于跨平台存储管理软件的异地存储备份解决方案。基于软件的数据镜像和复制不依赖于存储硬件,中心可以灵活地选择任何厂家的磁盘阵列,便于保护投资。同时,其设备管理简单、价格相对硬件实现更为便宜、两个现场间的距离不限、主机资源占用不大。

  在异地存储备份系统首期建设规模不大,对数据同步延迟时间限制较宽的条件下,根据中心的实际情况,我们选用基于软件的远程数据镜像或数据复制模式。

  根据目前中心对数据存储备份工作的要求,对于已经建成的在一个较长时间段(如一年)内不会发生变化的成果数据,建议采用冷异地存储备份的方式;对于正在建设中的重要数据,采用温异地存储备份方式是最佳的选择。这里主要考虑了基础地理信息成果数据在灾难恢复时效上的要求——它允许1~2周的异步数据恢复周期,同时也考虑到温异地存储备份方式在资金投入方面的可接受程度。

  中心方案设计

  中心构建的北京-西安异地存储备份系统主要由广域联网系统、本地主站和异地站点及数据复制软件组成,下面分别加以说明:

  1. 广域联网系统

  中心(北京)与陕西测绘局(西安)之间建有一条2Mbps带宽的专用通信光缆,具有数据传输、IP电话和视频会议等功能,是中国测绘网广域联网的组成部分。中国测绘网采用SDH光纤专线,支持TCP/IP协议,可提供2-8Mbps标称带宽,实际传输效率约95%,即1.9-7.6Mbps(0.855GB/小时-3.42GB/小时)。

  2. 北京主站配置
 
  北京主站点位于国家基础地理信息中心网络技术部主机房内,用作远程数据复制的发送/接收。

  主要由1台2TB Sun StorEdge 3510光纤磁盘阵列、1台1:5万DLG(数字线划图)数据库服务器,1台异地存储备份服务器和2套远程复制软件构成。其中,异地存储备份服务器作为本方案的主服务器,为Sun Fire 880 UNIX服务器,配置Solaris中文版操作系统和SNDR 3.1.40远程复制软件(Master); 1:5万DLG数据库服务器为Sun Fire 280 UNIX服务器,配置Solaris中文版操作系统和SNDR 3.1.40远程复制软件(Slave)。

  另外,本地主站点设备还包括Oracle 9i数据库软件和Arc GIS组件(Arc/Info 和SDE系统)各一套。

  3. 西安站配置

  位于陕西省基础地理信息中心服务器主机房内。主要由1台UNIX服务器、1台2TB光纤磁盘阵列、1台磁带加载机和1套远程复制软件构成。

  其中UNIX服务器为Sun Fire 280 UNIX服务器,配置Solaris中文版操作系统和SNDR 3.1.40远程复制软件(Slave);光纤磁盘阵列为Sun StorEdge 3510光纤磁盘阵列。由于西安站点需要进行数据备份,可以采用CA公司的BEB备份软件和SLR 50/100磁带加载机进行。

  另外,异地站点设备还包括Oracle 9i数据库软件和Arc GIS组件各一套。需要说明的是,西安站点配置的Oracle和Arc GIS组件(Arc/Info 和SDE系统),主要是为了在西安异地备份系统建立起与北京主站点数据库系统相同的数据库和应用环境,一旦北京数据库系统出现严重故障,西安异地备份系统可以完全提供相同的应用功能。

  4. 异地存储备份方案

  北京主站点的1台负责在线矢量和Oracle数据管理的Sun Fire 280 UNIX服务器,以及Sun Fire 880 UNIX服务器分别安装异地存储备份软件,前者作为SNDR远程复制软件Slave端 ,后者作为SNDR远程复制软件Master端,从而在2台服务器之间建立本地主站内部的数据复制关系。

  由于这2台服务器之间的数据传输建立在带宽为100Mbps的以太网络之上,因此每个工作日的非工作时间(如夜间10时后至第二个工作日上班前)进行数据复制可以传输完毕当日工作时间完成的数据增量。另外,这个过程可以由人工编写的脚本完成,因此具有较高的灵活性,可以根据实际工作情况进行改变。

  需要关注的是,如果Oracle服务器产生的日数据量大且持续时间长,北京主站点Master和Slave数据复制服务器之间可以采取异步模式,否则采用同步模式。

  在北京主站点Master和Slave数据复制服务器之间的同步/异步数据复制进行一个时间段后,如5个工作日,可以将上述两台服务器之间的数据复制关系暂时解除,在北京主站点Master和西安站点Slave服务器之间开始建立异步数据复制关系。考虑到远程复制关系建立的初期,需要进行一次磁盘阵列有关物理卷的全复制,由于数据量巨大,在“中国测绘网”上耗时长,效率不高,因此初建西安站点时,可以将其服务器和磁盘阵列设备放到北京调试,在北京主站点做好物理卷全复制后再运到西安。在其后的远程复制操作中,异地存储备份系统仅传送增量数据,节约网络资源,大大提高效率和成功率。

  由于北京主站点内部数据复制的速度在理论上是远程数据复制的50倍(100Mbps/2Mbps),因此在5个工作日的内部数据复制完成后,远程数据复制所花费的时间就构成了本方案数据复制延迟的时间,这个参数决定了本方案的效率和可行性。从实际操作角度分析,北京主站点每个工作日的工作时间为8小时,在100Mbps速率的以太局域网内,中心内部数据增量复制可在同样的时间段内同步完成。在北京主站点和西安站点进行远程数据增量复制,由于由SNDR软件自动控制,每个工作日的工作时间可为24小时。因此,北京主站点内部数据复制的速度实际上是远程数据复制的50×(8/24)≈17倍。

  一般情况下,北京主站点的数据增量在一个工作日内的情况为:对于Oracle数据库建库,北京主站点的数据平均增量每天为8GB;对于ArcInfo数据建库,北京主站点的数据平均增量每天为2GB.


异地存储
 异地存储的最好方法
 备份异地存储频率的实践秘诀
 SUN打造地理信息异地存储备份的实例
 打造地理信息异地存储备份
 远程站点的数据备份策略

来源:pconline    
当前大部分国内企业的IT经理们不得不在工作时间之后本地化备份数据库、文件或者是数据设置,并且通过可移动式媒体或邮件等方式来把复制的备份件集中传送存储到企业内部……
远程站点能从重复数据删除技术中获益,但是,对许多顾客而言,选择备份策略是件很麻烦的事。首先,建议你暂时抛开这项技术,先看看你的需求……
我们有六个Windows XP系统,并且他们都共享彼此的文件,五个计算机每晚把它们的数据备份到一个计算机(Windows XP)和两个大的硬盘驱动上,如何远程备份数据呢?
什么时候,路途多远备份磁带应该在异地存储,什么是最好的方案呢?你能解释一下为什么这个距离合适吗?我们来听一听专家的解答。
对于一个SMB而言要实现和管理数据保护是一个挑战。因为SMB很少有这个人力或者财力去处理内部复杂的数据保护,第三方存储服务能够提供一个划算的选择……
几年前持续数据保护(CDP)出现时,人们都认为这种产品能够取代传统的备份软件。当时CDP供应商预测IT管理人员都会放弃原来的备份软件,因为它们需要每周一次完全备份、每天一次增量备份……
公司要采购各种各样的设备,在采购的过程中会有很多的技巧。了解这些技巧对我们来说是非常重要的,必要时可以起到事半功倍的效果。
交换机在应用中会出现很多问题,为了在网络中能够满足更多的存储平台或主机服务器,交换机需要定期扩展或替换。交换机通过升级可以达到更好的性能,增强网络的有效性,限制网络流量并提供智能化功能,比如对网络的虚拟化。
最新更新
专家答疑
技巧
Pierre Dorion
我们要购买5TB SATA存储系统,这个系统可以升级到50TB,并且可以和SATA、FATA共用。它也应该能支持多重OS和RAID级别,哪一个对于我们的需求是最好的套件呢?
Jo Maitland
SaaS存储服务会减少存储设备总数和购买的存储容量吗?近期看来没有什么显著的不同。但是从长期看,随着越来越多的服务建立在云计算上……
Greg Schulz
我们有两个负载均衡网络服务器,都是可用的,正在尽力访问SAN上的相同的LUN。我们在操作系统和EMC SAN上用Windows2003标准版本。我们如何实现并行写入SAN……