判断超融合存储优劣的几个原则初探(三)

日期:2016-2-29作者:陈靓

【TechTarget中国原创】在此前的文章中,我们说到了裸设备访问方式,以及系统I/O路径的问题,应该说这是ServerSAN系统性能影响比较大的两个因素,用户在选型中,需要进行仔细地了解和考察。除了影响系统性能的因素之外,我认为系统可扩展性(High Scalability)和容错能力以及安全性都是需要认真考虑的因素。

对于系统的可扩展性首先要考察系统是否存在瓶颈。需要考察系统是否存在这样一个组件(component):系统大部分请求(request)需要经过这个组件或由这个组件来处理,其特征是如果这个组件通常由一台或几台服务器构成,往往就存在着瓶颈的问题,比如SleepDog Storage系统中存在一个Cluster Manager,的组件,它的功能是用于监控数据节点上线/下线的变化,通常通过ZooKeeper来实现。对于ZooKeeper来说,其监控能力存在着上限,如1000个数据节点,如果这1000个数据节点里面,还有更小的单元的状态需要监控,如逻辑卷状态等,如此就会演变成为上万个连接数需要被管理,这就大大超过了ZooKeeper的可承受范围。在这种情况下, Cluster Manager就会成为了ServerSAN系统的瓶颈,导致系统扩展性不好。

ServerSAN系统的容错能力是指:在网络错误、服务器硬件失败的情况下,系统工作不受影响。因为当存储系统的节点数扩展一定的规模后(如1000个节点),同时系统承受了一定量的用户请求,节点上线下线、网络断线连线、磁盘出错(企业硬盘的错误率在3%左右)的情况就会很频繁。在这种情况下,如果系统的容错能力弱,整个系统就将忙于数据迁移和恢复,正常的客户数据请求的处理会受到影响。

一般而言,在客户的IO请求路径上(比如寻址方式)使用Consistent Hashing、DHT(Distributed Hash Table)或者类似的算法,如Ceph的CRUSH算法,都会导致系统的容错能力弱。这是因为此类算法会在系统的节点或硬盘上线下线时,动态迁移大量数据。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

评论
查看更多评论

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者>更多

陈靓
陈靓

曾于AWS Storage Team(云计算核心存储团队)工作长达7年之久,曾担任系统架构师和研发团队带头人,负责设计和实现了著名的AWS Glacier系统结构;2011年加入AWS S3团队,负责对AWS S3 的Volume子系统新版本的研发。2013年,接受南京市政府321计划的感召,选择归国创业,创办了南京鹏云网络科技有限公司,致力于私有云存储产品的研发。2015年入选中组部“国家千人计划”专家人才。

虚拟化策略>更多

  • 企业存储界2017年会有大动作吗?

    企业存储界2017年会有大动作吗?闪存很伟大,闪存非常棒,闪存无比美好。但闪存作为替代品,仍相当昂贵。另外灾备这事儿,无论多难多费钱,咱们还是得上,还得认真去做好。

  • 整合看点: DellEMC的HCI市场如何来看?

    2017年初,EMC融合平台与解决方案业务亚太及日本地区首席技术官Matt Oostveen来到中国,与TechTarget中国记者就EMC融合平台及相关产品的发展战略展开了对话。

  • 超融合究竟带来了什么?

    超融合成为如今企业IT市场的宠儿,超融合是基于什么样的技术变化而到来?超融合又为企业带来了什么?

  • 飞康 x Hypernode:“按需提供SAN”晋升企业云存储市场新宠

    2016年12月13日,澳大利亚著名企业云运营商 Hypernode正式与软件定义存储创新公司FalconStor Software®有限公司达成战略合作,将选择业内首款真正的水平融合数据服务平台 FreeStor®,通过位于悉尼、中央海岸和墨尔本的基础设施,提供简单且经济实惠的按需存储。

相关推荐

  • 是你吗?!细数2017年数据存储领域最值得关注的潜力股(十)

    SearchStorage发布的本年度存储领域最有前途的创业公司排行榜,印证了我们在与数据中心管理员和供应商们的讨论中感受到的趋势。我们评选出的存储新人最终名单中的大多数都是在过去一个日历年诞生的。虽然这些初创公司形势看好,但未来的路仍然艰辛难料。

  • 是你吗?!细数2017年数据存储领域最值得关注的潜力股(九)

    SearchStorage发布的本年度存储领域最有前途的创业公司排行榜,印证了我们在与数据中心管理员和供应商们的讨论中感受到的趋势。我们评选出的存储新人最终名单中的大多数都是在过去一个日历年诞生的。虽然这些初创公司形势看好,但未来的路仍然艰辛难料。

  • 是你吗?!细数2017年数据存储领域最值得关注的潜力股(八)

    SearchStorage发布的本年度存储领域最有前途的创业公司排行榜,印证了我们在与数据中心管理员和供应商们的讨论中感受到的趋势。我们评选出的存储新人最终名单中的大多数都是在过去一个日历年诞生的。虽然这些初创公司形势看好,但未来的路仍然艰辛难料。

  • 是你吗?!细数2017年数据存储领域最值得关注的潜力股(七)

    SearchStorage发布的本年度存储领域最有前途的创业公司排行榜,印证了我们在与数据中心管理员和供应商们的讨论中感受到的趋势。我们评选出的存储新人最终名单中的大多数都是在过去一个日历年诞生的。虽然这些初创公司形势看好,但未来的路仍然艰辛难料。

技术手册>更多

  • 盘点数据备份的新技术与新工具

    调查数据表明,只要问存储组经理们他们最关注什么,你一定会听到他们齐声回答“备份”。对于那些幸运的存储经理们来说,备份不是马上要做的事情,可能只是处在第二重要的位置。在这本技术手册中我们把关注新的备份技术和方法的文章放在一起,给您提供指导。随着容量的显著增长,是时候摆脱做令人厌烦的备份工作了。

  • 快照技术手册

    究竟什么是快照技术?主要有哪些类型?本手册中TechTarget中国的特约专家对其进行了详细的讲解,并在其应用中给出了指导性建议。 

  • SAN扩展技术手册

    无论你能把多大的存储容量压缩到一个阵列,存储空间被占满只是个时间上的问题。由于日益增多的媒体数据文件,所有用户都在挑战现有存储资源的极限。这也是SAN(存储区域网络)扩展技术出现的原因。
    本手册将深入研究SAN扩展技术,并对涉及的元件提供一些建议,例如如何集成SAN和NAS(网络附属存储)、交换机的更新、磁盘阵列的更换和容量规划工具等。

  • RAID-5技术手册

    在本手册中TechTarget专家将讲解什么是RAID 5,如何计算RAID 5可用磁盘空间,以及如何为你的磁盘阵列选择合适的RAID 5。

TechTarget

最新资源
  • 安全
  • 虚拟化
  • 网络
  • 服务器
  • 数据中心
  • 云计算
【TechTarget中国原创】在此前的文章中,我们说到了裸设备访问方式,以及系统I/O路径的问题,应该说这是ServerSAN系统性能影响比较大的两个因素,用户在选型中,需要进行仔细地了解和考察。除了影响系统性能的因素之外,我认为系统可扩展性(High Scalability)和容错能力以及安全性都是需要认真考虑的因素。

对于系统的可扩展性首先要考察系统是否存在瓶颈。需要考察系统是否存在这样一个组件(component):系统大部分请求(request)需要经过这个组件或由这个组件来处理,其特征是如果这个组件通常由一台或几台服务器构成,往往就存在着瓶颈的问题,比如SleepDog Storage系统中存在一个Cluster Manager,的组件,它的功能是用于监控数据节点上线/下线的变化,通常通过ZooKeeper来实现。对于ZooKeeper来说,其监控能力存在着上限,如1000个数据节点,如果这1000个数据节点里面,还有更小的单元的状态需要监控,如逻辑卷状态等,如此就会演变成为上万个连接数需要被管理,这就大大超过了ZooKeeper的可承受范围。在这种情况下, Cluster Manager就会成为了ServerSAN系统的瓶颈,导致系统扩展性不好。

ServerSAN系统的容错能力是指:在网络错误、服务器硬件失败的情况下,系统工作不受影响。因为当存储系统的节点数扩展一定的规模后(如1000个节点),同时系统承受了一定量的用户请求,节点上线下线、网络断线连线、磁盘出错(企业硬盘的错误率在3%左右)的情况就会很频繁。在这种情况下,如果系统的容错能力弱,整个系统就将忙于数据迁移和恢复,正常的客户数据请求的处理会受到影响。

一般而言,在客户的IO请求路径上(比如寻址方式)使用Consistent Hashing、DHT(Distributed Hash Table)或者类似的算法,如Ceph的CRUSH算法,都会导致系统的容错能力弱。这是因为此类算法会在系统的节点或硬盘上线下线时,动态迁移大量数据。

优秀的ServerSAN系统可以通过日志的方式,将节点或硬盘在下线期间的数据记录下来,等它们上线后,只复制缺失的数据而避免拷贝所有的数据。

在这里,我们同样需要一个简单的判断的方法。我个人的推荐是,可以通过观察系统是否存在一个中央控制单元,或中央监控单元或中央元数据库;I/O寻址算法是否使用了DHT或类似的算法。来简单判断系统容错能力好坏。

最后,需要说说数据安全性。

我们知道:数据安全性、数据一致性(Data Consistency)和系统性能三者互斥的,即一个系统很难同时达到高数据安全性、强数据一致性和高IOPS的系统。以异地容灾为例,在ServerSAN系统中其方法是将一份数据复制到两个或多个副本到异地数据中心,如此大大提高了系统的安全性。但如此一来,该系统数据一致性和系统性能就有可能会受到影响。

不论是同步复制还是异步复制,这样的影响都是存在的。

首先是同步数据复制,是在系统成功响应客户的写请求之前,数据被复制到至少两个数据中心,如果是异地数据中心则对于网络带宽、延时都有很高的要求,否则将导致系统的性能及其低下。但保持异地数据中心的高网络带宽和低延迟,成本会是非常高的。不得已,就会采用异步方式,即在一个数据中心的写请求一旦成功写入本地的数据中心即可返回,系统可以在后台将这部分写复制到另外的一个数据中心去。非常显然,异步方式会导致两个中心的数据存在不一致性。

也正是因为如此,好的解决方案应该采用两地三中心的方式。这也是我个人推荐的方式。

总之,分布式存储技术还处于快速的发展之中,技术并不断突破和创新。但总体来说,优秀的分布式系统已经比较成熟,已经能够满足用户业务应用的需要,与传统磁盘阵列相比,分布式存储的优势毋庸置疑。用户可以结合实际应用的需要大胆尝试和选用分布式存储系统。

无论在全球还是国内市场,互联网企业的成功实践其实已经印证了这一点,分布式存储已经到了成熟应用的阶段。但是与此同时,分布式存储市场毕竟年轻,特别是市场鱼龙混杂,这无疑增加了用户的风险。



系列阅读:

判断超融合存储优劣的几个原则初探(一)


判断超融合存储优劣的几个原则初探(二)