自动精简配置&重复数据删除核心技术点及其经济效应探究

2009-1-12    | |
打印本文章
RSS

导读:本文介绍了重复数据删除和自动精简配置可以提高企业存储系统的利用率。

关键词:重复数据删除 自动精简配置 虚拟磁带库 VTL

正在加载数据...

  在当前日益汹涌的金融危机逐渐影响实体经济的情况下,企业面临存储扩容需求时不得不精打细算,为了降低最终拥有成本(TOC),除了减少初次采购成本,也希望尽可能减少企业今后的运营维护成本。重复数据删除技术作为时下最热门的存储优化技术,能显著降低存储设备物理介质消耗,并减少数据中心对空调,空间,和灾备的消耗,还可以与本文涉及的自动精简技术无缝配合,极大降低存储系统的维护管理成本,显著提高企业存储系统的利用率,实为抵御当前经济危机的又一利器。

  首先介绍存储系统的自动精简配置(Thin Provisioning)技术。自动精简配置技术扩展了存储管理功能,虽然实际分配的物理容量小,但可以为操作系统提供超大容量的虚拟存储空间。随着应用写入的数据越来越多,实际存储空间也可以及时扩展,而无须手动扩展。换句话说,自动精简配置提供的是“运行时空间”,可以显著减少已分配但是未使用的存储空间。

  如下左图所示为使用传统配置方式创建了3个卷。整个存储系统有2TB的可用存储空间。卷1的大小是500GB,其中有100GB实际数据,另外400GB是已经分配但是未使用的空间。卷2的大小是800GB,其中200GB实际数据,另外600GB为已分配但未使用的空间。卷3的大小是550GB,其中50GB实际数据,另外500GB为已分配但未使用的空间。整个存储系统有350GB的实际数据,1.5TB已分配但未使用的空间,并最后剩下150GB可用空间给其他应用。

  同样的2TB存储系统采用自动精简配置技术之后,结果较传统方法有显著差异。系统管理员同样创建这3个卷,使用自动精简配置之后,由于存储空间是在数据写入过程中动态申请分配的,因此就不存在已分配但未使用的空间。所以采用自动精简配置之后整个存储系统里同样有350GB数据,但有1.65TB可用空间。相对于使用传统配置方式时的150GB,采用自动精简配置使得可用空间增加了11倍!

  由此可以看出,采用自动精简配置可以把存储空间的利用率提高到近乎100%。

  另外自动精简配置不仅可以提高存储空间的利用率,降低IT人员进行存储管理的复杂度,还可以极大减少存储系统扩容的规模,增加现有存储系统支持的应用服务器的数量。

  以下对自动精简配置的优点进行简单的总结:

  ·用户可以创建更多的卷,单个卷的空间可以更大,并可以动态地管理各个卷的大小。
  ·用户可以在初次购买更少的存储介质,并在随后按需增加磁盘容量。
  ·在创建卷时不需要进行深入的容量规划,减少IT管理人员存储配置的工作量,避免预估不当造成的存储空间浪费。或者存储空间不够导致后续中断业务以进行扩容升级。
  ·存储介质的空间利用率显著提高,相应地在同样的存储空间下可以支持更多的应用服务器,提升存储系统的利用率。

  重复数据删除(De-duplication)技术,主要是对存储数据流以一定的目标尺寸进行指纹校验,对于其中重复出现的数据单元,在实际写入存储介质时,只需记录相应的指纹记录位置即可,因此可以极大降低存储介质消耗。“去重率”这个参数就是用来定义重复数据删除中的优化率,它等于原数据大小除以去重之后的数据大小,实际去重率随去重模块部署在存储系统的位置以及数据的重复率有较大差异。对于次级备份数据,一般的去重率在10~20:1之间。另外还可以配合硬件压缩,像Hifn公司的DR系列硬件加速无损压缩板卡,可以在不影响备份设备性能的前提下取得2:1的压缩比。这样两者结合,可以实现20~40:1的数据缩减比。

  当前重复数据删除主要被用于次级备份业务,一般和虚拟磁带库(VTL)处在同一位置。如果说IP-SAN市场的崛起是源于对链路要求从FC到IP的降级,那么支持重复数据删除的IP-SAN设备会更加加速这样的趋势。因为经过重复数据删除和压缩处理之后,应用产生的数据被大量缩减,使得之前利用FC构建的主存储和次级存储之间的链路的负担显著减轻,从而完全可以被更经济的IP链路所取代。

  2009年,自动精简配置和重复数据删除这两种技术可以显著提升存储介质的利用率,进而提升存储系统的利用率,减小企业IT运营成本,降低管理成本,有利于企业在经济发展面临困境时顺利过冬。

来源:Hifn    作者:Hifn    
  评论
 
在本期存储技术沙龙中,TechTarget中国邀请了近年来非常关注去重技术应用的存储巨鳄EMC的高级顾问来现场和大家聊聊重复数据删除的概念、内涵以及最重要的应用问题。
 
6月26日(本周五)下午2:00(1:30签到)EMC在北京、上海、成都、广州四个城市,将同时举办针对Avarma重复数据删除的线下技术培训,有感兴趣的网友可注册参加。
 
美国慷孚系统公司(CommVault)和戴尔联合推出了第一款内嵌重复数据删除功能的数据管理解决方案--戴尔PowerVault DL2000。
 
2009中国网络存储大会上,Hifn首次针对国内市场发布并展示了BitWackr Enterprise——业界首款硬件加速数据容量优化解决方案。TechTarget中国采访Hifn,揭秘BitWackr。
 
问:您能否解释一下数据销毁和数据删除的区别?答:数据删除指的数据不在存在,应用和最终用户看不到数据……
这本技术手册介绍硬盘扇区(块)大小和文件系统分配单元(块)大小的区别。 
不恰当的磁带存储操作常常会导致数据丢失。灰尘,猛然撞击和高温只是导致磁带不能读取的一部分原因。因此,磁带操作和磁带管理非常重要,在实际工作中需要特别注意。
由于法规所要求的数据的存储和保留,数据增长不可避免。当备份的数据被删除时,它们真的找不会来了吗?数据销毁是什么,怎样进行?
最新更新
专家答疑
技巧
钟富钧
问:在Windows Server 2003或Windows XP下,为什么由QSAN控制器组成的磁盘不能从基本转换成动态?
Jeff Boles
问:什么存储刀片?为什么存储刀片是一项好的技术选择?答:今天我们发现很多用户在经济危机时期采用刀片服务器,这是非常好的解决方案……
Curtis Breville
问:磁带写完后应该怎样保存? 答:使用磁带防护罩是有必要的。把磁带放到了防护罩里以后,确保磁带防护罩放在合适的、气候环境可控的环境里。

登录TechTarget中国

关闭
本服务仅向TechTarget中国的会员开放,请登录或立即免费注册
登录Email
请输入您的登录Email
密码
下次自动登录