传统企业的“互联网+”实战

日期:2016-3-23作者:胡罡黄超来源:TechTarget中国

“互联网+”   IT转型   PaaS   云计算   Docker   

【TechTarget中国原创】当前,传统企业正在积极拥抱“互联网+”,寻求IT转型之道。

云计算驱动企业IT架构演进


随着云计算的快速普及,传统企业越来越关注基于云计算的下一代IT架构变革了。回顾企业IT架构演进历史,主要经历了“传统孤岛”、“x86+虚拟化”和“云化”这三个阶段。

最初的“传统孤岛”,软硬件堆栈各层间缺少统一的工业标准化,呈现出内聚与耦合的特征。随后的x86标准化带来计算、存储、网络、操作系统、中间件、应用层等多层次水平分工架构,为了提升IT灵活性和资源利用率,虚拟化开始在数据中心部署,IaaS实现了虚拟机级弹性伸缩,但IT基础设施扩张很快,系统层层堆叠,各层间集成交付的难度越来越大,同时,仅虚拟化也难以满足不断增加的业务对资源的变化需求。

于是企业开始期望将服务作为IT核心,提升业务敏捷性,同时大幅降低TCO,这时PaaS和应用资源池化实现了集群级弹性伸缩,很大程度上缓解了IT资源与业务发展之间的矛盾,让企业更专注于上层业务逻辑的运营。如果说IaaS属于云化的“初级”阶段,PaaS和应用资源池化就是云化的“进阶”阶段。

来自传统企业的一次“互联网+”


在今年春节期间,太平洋保险联合上海天玑数据,采用DCOS(数据中心操作系统)平台改造微信应用系统来支撑推出的“除夕夜摇红包”、“初五迎财神”等系列活动。活动期间轻松支撑高达每秒10万笔交易的业务高峰,仅除夕当夜微信增粉量就超过1300万。

数据中心操作系统(Data Center Operating System,简称DCOS)是为整个数据中心提供分布式调度与协调功能,实现数据中心级弹性伸缩能力的软件堆栈,它将所有数据中心的资源当做一台大型计算机来调度,可以视作这个大型主机的操作系统。下表给出了Linux OS与DCOS(以基于Mesos为例)的类比:

Linux OS与DCOS(以基于Mesos为例)的类比
这次太平洋保险进行综合评估技术选型后,最终选择了基于Mesos + Docker搭建DCOS平台。功能框架如下:以Docker为基础封装各类应用和运行环境,以Mesos、Marathon为核心实现容器资源的分布式调度与协调,以HAProxy、Etcd为辅助实现服务注册引流。
 DCOS平台
1. 应用封装:Docker
Docker为开源的应用容器引擎,在标准的LXC之上融合AUFS分层镜像管理机制,抛弃传统虚拟机试图模拟完整机器的思路,而是以应用为单元进行“集装封箱”,是轻量级的虚拟化技术。
Docker Engine可以自动化部署应用到可移植的的容器中,这些容器独立于硬件、语言、框架、打包系统。一个标准的Docker容器包含一个软件组件及其所有的依赖,包括二进制文件,库,配置文件,脚本等,实现持续集成与部署,快速迭代应用程序。
Docker容器可以封装任何有效负载,几乎可以在任何服务器之间进行一致性运行。开发者构建的应用只需一次构建即可多平台运行。运营人员只需配置他们的服务,即可运行所有应用。

2. 资源调度:  Mesos
Mesos是为构建和运行其他分布式系统提供服务的分布式系统。它将CPU、内存、存储介质以及其它计算机资源从物理机或者虚拟机中抽象出来,构建支持容错和弹性的分布式系统,并提供高效的运行能力。
Mesos以Framework(框架)的形式,提供了“两级调度机制”,将任务的调度和执行分离。
Mesos Master负责将资源分配给各个框架,而各个框架的Scheduler进一步将资源分配给其内部的各个应用程序。
 Mesos能和不同类型的Framework或Application通信,每种Framework或Application由相应的应用集群管理。

Mesos Slave的Executor具备调用Docker能力,当 Executor接收到Task时启动Docker,其可以调用Docker去启动一个容器。

资源调度:  Mesos

 
3. 任务调度: Marathon
Marathon是基于Mesos来做任务调度,Mesos仅负责分布式集群资源分配,不负责任务调度。
 Mesos集群可以混合运行来自Marathon的不同类型的任务。
 Marathon基于Mesos的任务调度为动态调度,即每个任务在执行之前是不知道将在哪一台服务器上执行和绑定哪一个端口。
 下图为Marathon执行任务调度示意图。9台服务器(灰色)组成的Mesos集群上混合运行各种Marathon调度的任务,其中一台服务器坏掉以后,这台服务器上的任务就受影响,Marathon可把任务迁移到其他服务器上,实现容错。
 任务调度: Marathon
4. 服务注册与引流: HAProxy + Etcd

HAProxy提供高可用、负载均衡的解决方案,而Etcd是一个高可用的键值存储系统,主要用于共享配置和服务发现,提供了数据TTL失效、数据改变监视、多值、目录监听、分布式锁原子操作等功能,可以方便的跟踪并管理集群节点的状态。 Etcd与HAProxy配合能够实现数据中心应用的动态引流。


为应对这次春节红包活动业务系统的瞬时高峰压力,太平洋保险DCOS平台采用223个主机节点,其中平台部分由5个节点构成Mesos Master Cluster,80个节点构成HAProxy Cluster,138个计算节点承载674个Docker Container,其中动态计算节点113个,静态计算节点25个。该平台可在1分钟内轻松实现扩展到1000个以上Docker节点。

结语


总之,传统企业在“互联网+”的背景下,IT基础架构的发展要确保新技术的研究和应用与企业未来业务发展需要相一致。而今,云计算相关技术正在逐渐演化成熟,尤其PaaS领域的技术发展更是日新月异。下一代轻量级PaaS正越来越为业内所关注。数据中心级的弹性伸缩、快速持续集成等轻量优势,能够帮助企业快速应对业务需求,为传统IT的敏捷转型提供了新机遇。



胡罡,现担任中国太平洋保险集团股份有限公司信息技术中心应用运行支持部副总经理。长期从事保险行业信息化建设,曾多次主持大型保险信息系统建设和推广工作,参与和实施保险核心系统数据大集中和重构工作,参与大型数据中心建设和系统搬迁,参与智能移动保险平台建设。目前主要从事云计算和大数据相关技术研究和应用,面对移动互联浪潮的挑战和机遇,积极探索和实践传统行业IT运维模式的转型升级。


黄超,现担任中国太平洋保险集团股份有限公司信息技术中心需求规划与项目管理部资深IT架构师。2004年起在互联网行业从事互联网系统开发工作,中国最早一批进行互联网移动应用开发的IT人员,曾参与数款国内知名高并发大型互联网应用项目全程开发和架构设计。2009年起在太平洋保险就职,主要从事互联网项目,云平台和大数据相关技术研究和架构设计,结合自身互联网和金融行业的经验在互联网浪潮的改革中进行积极研究和探索



注:文章版权归作者所有,已在infoQ上首发,转载请注明。


我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

评论
查看更多评论

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者>更多

胡罡
胡罡

中国太平洋保险集团股份有限公司信息技术中心应用运行支持部副总经理。

黄超
黄超

中国太平洋保险集团股份有限公司信息技术中心需求规划与项目管理部资深IT架构师。

云存储>更多

相关推荐

  • 企业数据保护策略:别忘了磁带与云

    云计算在短期数据存取与保存方面能够发挥巨大作用;同样,在数据的长期归档存放应用领域,它同样颇具价值。

  • 重磅发布31款云服务 华为强势推进企业云计算2.0

    2016年,是中国云计算市场走出泡沫走向多元发展的关键一年,是企业云服务走向下一个十年的2.0阶段。那么云计算2.0时代的关注点是什么?企业云服务作为各家的战略性业务又将如何发轫?

  • QingCloud黄允松:在中国,没有人把技术放在牌面上

    对于中美云计算市场的差异,黄允松犀利指出,在中国,没有人把技术放在牌面上。

  • 数据发展20年

    过去20年,数据的规模和互联网用户普及率伴随着信息技术革新发生了量的飞跃。未来,随着物联网、大数据、云计算、移动社交等技术快速演进,基于无限的数据交互将创生更多改变世界的科技产物。人类将进入全息体验的数字生活时代。

技术手册>更多

  • 数据归档教程

    今天,海量数据驱使陈旧的数据迁移到更低成本的媒介,以获取直接的经济回报,然而归档技术正逐渐成为存储管理任务中的一项分支,以及驱动业务的一种应用。

  • 企业闪存应用与采购

    固态存储技术正获得越来越多的关注,同时这种技术提供用户在不同环境中不同的固态存储部署方式。固态存储所展现出的高性能对于用户应用来说无疑是充满吸引力的,然而你还需要对其部署在何处、所需要的具体容量及使用模式作出具体评估和判断。

  • 基于硬盘的备份与恢复技术手册

    由于经济不景气,存储管理员开始采用一些基于硬盘的备份技术,这篇基于硬盘的数据备份与恢复技巧给我们讲述了这种备份方式的变革,并且提供很多实用的建议。

  • 虚拟机备份与保护教程

    虚拟机技术正以前所未有的脚步通过提高服务器的整合能力对数据中心产生重要的影响。如何进行虚拟机备份与保护?这本技术手册将解答您在虚拟机备份与保护方面的疑问。

TechTarget

最新资源
  • 安全
  • 虚拟化
  • 网络
  • 服务器
  • 数据中心
  • 云计算