M6米乐技术 超融合:虚拟化的巅峰
M6米乐技术 超融合:虚拟化的巅峰在传统IT基础架构的核心组件中,网络、存储、服务器等尤为重要,而且需要更灵活的配置和应用过程米乐m6手机版。在这种需求下,超融合应运而生,它集成了虚拟计算资源和存储设备的信息基础架构,不但使同一套单元设备具备了计算、网络、存储和服务器虚拟化等资源和技术,而且使多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展,形成统一的资源池。超融合已被视为现代IT基础架构的成熟技术路线。因此,本文探讨了超融合技术的原理和应用,体验这一虚拟化的巅峰之作。
超融合(Hyper-converged)是一种集成了计算、存储、网络和虚拟化等多种技术的IT基础架构解决方案,通过软件定义的方式进行管理和控制米乐m6,旨在简化数据中心的部署、管理和扩展,并提供更高的灵活性和效率。
我们常说的超融合通常是指超融合基础设施(Hyper-converged Infrastrucutre,HCI),且通常以软件的形式出现在通用服务器硬件上。维基百科中对超融合的定义是:超融合基础架构是一个软件定义的IT基础架构,它可虚拟化常见“硬件定义”系统的所有元素。
HCI软件的核心功能是虚拟计算、存储和网络,并通过横向扩展、无共享架构的“单一管理平台”对这些虚拟资源进行统一管理。可见,超融合的核心就是虚拟化。
传统数据中心主要由服务器、网络设备、存储设备等组成(如图1),而这些设备通常由多家供应商提供,随着业务程序及其产生数据的增长,设备种类和数量也随之增加,从而导致运维成本和设备部署的周期也迅速增加米乐m6官网登录入口,并且增加了资源调度的难度,降低了系统资源的利用效率。
为了解决这一问题,由同一厂商或者若干家厂商联合提供的融合系统开始出现,将服务器、网络设备和存储设备等集成在同一个机柜或者机架上,但服务器和存储等计算资源还是独立管理、独立扩展,运维成本高,升级扩容困难。
超融合架构以软件定义存储,使用大量标准x86服务器组成集群,通过虚拟化计算和虚拟化网络技术,把分布在每个节点上的服务器本地资源天然融合起来,形成统一资源池,通过统一管理界面对外提供标准的计算、存储、网络能力,实现模块化的无缝横向扩展(Scale-Out)(如图2)。
超融合架构是软件定义数据中心的一种表现形式,基于标准通用的硬件平台,通过软件定义实现计算、存储、网络融合,实现以虚拟化为中心的软件定义数据中心的软硬一体化IT基础架构。服务器集群中各节点间没有明确的计算和存储的分工,因而不存在单点故障,可以根据需要对计算、存储、网络按需进行横向的动态扩展M6米乐。每个服务器节点上的超融合软件栈高度虚拟化米乐m6,通过网络和分布式运算,将CPU、内存、硬盘、网络等物理资源进行抽象化,建立起具有高度可用性和弹性的存储及计算资源池。
超融合基础架构以硬件服务器为基础,最大限度地实现数据中心容量扩展性和数据可用性,以虚拟机为核心,提升集群的运算效能和存储空间,具有简单、高效、高性能、易部署等优势。在成本控制和风险防范方面,不需要单独采购服务器和存储,节省了机柜空间和电源消耗。系统采用的软硬件都是统一的技术接口,不存在虚拟化环境的资源争抢问题,可以灵活调配资源,方便快捷。
在超融合架构模式下,用户使用的虚拟机和存储空间是利用软件构建的米乐m6手机版,这样就使得底层物理设备与用户之间保持隔离的状态,实现了硬件资源与虚拟化平台的完整融合。用户可以以堆叠的形式实现节点的添加,进而实现超融合架构丛集容量的扩展。
全球的IT数据大约以每年40%的速度增加,企业为完成快速的分析决策和管理,就需要借助强大的数据中心。在摩尔定律的演变下,服务器的CPU性能越来越强,数据中心的瓶颈就会出现在传统的存储硬盘上,使得CPU大部分计算能力都处于空闲或等待状态。
Google很早就遇到这个问题,如果存储容量和性能不具备和计算能力相匹配的可扩展性,就不能满足企业进行数据访问的需求。在使用过EMC、IBM,还有当年的SUN存储产品都没能解决这个问题之后,Google开始建立适合自己的数据搜索的存储结构,利用服务器的本地硬盘和软件构建了一个容量和性能可不断扩展的分布式文件系统,并在其上构建了搜索和分析的计算引擎。
这样,就不用把数据从存储端取出来,然后通过网络传输到计算端米乐m6官网,而是将计算直接分发到存储上运行,并将其作为传输单元进行传输。大量的存储数据都是本地访问,不需要再跨网络传输,“计算”和“存储”融合在了一个服务器上米乐m6官网登录入口,速度和效率都得到很大提升,这就是超融合的雏形。
现代企业的数据量越来越大,应用也越来越多,计算和存储架构不断面临新的问题。为了达成更容易的管理应用,虚拟化应运而生,它解决了CPU、内存资源闲置的问题。但随着虚拟化的大规模应用,虚拟机越来越多,传统存储I/O性能不足,无法承受大量的随机I/OM6米乐,运行越来越慢,速度成为限制虚拟化应用的最大瓶颈。
为了解决I/O问题,可以在存储设备上采用SSD做缓存,加速I/O。但是存储设备的SSDCache容量比通常不足5%,满足不了热数据的缓存需求,且仍然无法随需扩展,所有数据仍然要从集中的存储流出,容易造成堵塞。
当然,也可以使用服务器侧SSD做缓存来加速I/O,但缺乏高可靠性软件的支撑米乐m6手机版,服务器端的缓存如果用作写缓存,存在单点失效的问题,需要在多个服务器的Cache设备上做副本来提供可靠性。但是,当Cache满载需要写回传统存储的时候,仍然被传统存储的限制整体性能。
超融合正好解决了这个问题,其完全去掉传统存储,利用分布式文件系统来提供不可限量的性能和容量,在此基础上再通过Cache进行加速,甚至全部使用SSD来构建。
自2012年Steve Chambers和Forrester咨询首次提出超融合基础架构概念以来,其技术已经从最初简单的以替换传统存储厂商集中式存储为目的,发展到如今的从IaaS层(Infrastructure as a Service)融合向PaaS层(Platform as a Service)技术,并尝试结合容器技术,提供更多样的服务,技术日趋成熟。
2014年之前是HCI概念提出、市场试水的阶段,如今GartnerHCI魔力象限中的绝大多数超融合厂商,如Nutanix、Dell EMCM6米乐、VMware、华为等均是在该阶段开启了HCI之路。2015—2016年,随着云计算的爆发,HCI被视为最具潜力的数据中心基础架构之一,发展驶入快车道,2016年甚至被称为“超融合元年”。
超融合架构不是为了让单台服务器的存储飞快米乐m6官网登录入口,而是为了让每增加一台服务器,存储的性能就有线性的提升,这样的存储结构才不会限制业务的运行,并保证业务的可靠性。这种扩展性很好的共享存储,受到各大企业的欢迎,其优势和客户价值非常明显,全球和国内市场都已经初步形成,成为新一代数据中心基础架构的首选方案。
超融合架构能够解决启动风暴问题,因此产生之初最主要的部署场景就是VDI。通过超融合构建桌面云,不仅可以提供桌面云所需的性能、可用性、可扩展性,同时还可以降低架构的复杂性、管理难度和建设成本米乐m6手机版。
当企业分支机构较多并需要远程办公时,就依赖于从其他位置管理本地IT基础架构。超融合架构集成了计算、存储和网络连接功能,可以在分支机构IT支持不够的条件下提供高性能、高可靠性、易维护M6米乐、易管理的IT系统,提高ROBO环境的办公效率,大幅简化IT运维管理。
私有云要求IAAS层虚拟化适应性强,兼容性好,简单、高效、弹性、强健,而这些特性都是超融合与生俱来的,基于超融合构建私有云可以为数据中心带来最优的效率和灵活性。
由于超融合架构可以将计算、存储和网络资源虚拟化后在图形界面中进行统一管理,因此能够简化虚拟化的配置管理M6米乐,将更多的核心应用迁移到虚拟化平台运行。将关键和核心应用从物理环境迁移到超融合,不但可以降低采购和维护成本,还能提高系统的使用性能和扩展性能。
在“互联网+”思维方式引导下,企业的开发测试也朝着敏捷开发、微服务等方向发展,对测试平台在降本增效等方面提出更高的要求。基于超融合构建开发测试云,可以快速实现环境获取、生产网络环境模拟、自动运维等。
基于HCI来构建大数据平台,在满足大数据系统对计算性能和存储容量需求的同时,也提供了更好的扩展性和伸缩性M6米乐米乐m6手机版。
容灾系统需要快速、简便、适应性强、扩展方便,而超融合的快速部署、按需配置和扩容等特性,能让容灾变得异常简单,因此在容灾系统中的生命力会越来越强。
2018年,在Gartner发布的超融合基础设施魔力四象限中,国内厂商仅有华为迈入挑战者象限,但国际市场仍以Nutanix、DellEMC、VMware和Simplivity(已被HPE收购)为主。除了VMware等缺少详细资料,主流超融合厂家通常都采用了如下关键技术:
①统一管理界面。通过统一界面管理系统中的计算、存储、网络等节点并提供在线升级、无缝水平扩容等功能。
③分布式KV(Key-Value)存储技术。通过分布式一致性Hash(DHT路由)、HASH分片、CRUSH算法等为数据块生成key米乐m6官网,然后映射到逻辑分区,进而将逻辑分区映射到不同存储节点上不同硬盘的真实分区。
④ApacheZooKeeper。通过将数据以冗余方式分散存储在分层名称空间中来支持为大型分布式计算提供开源的高可用性分布式配置服务、同步服务和命名注服务。
⑤自动多级缓冲/SSD加速技术。根据数据访问频率自动划分冷热数据,通过LRU算法将热门数据放入内存和SSD等高速缓冲,冷门数据后台刷新到HDD硬盘。
⑥写时重定向ROW(redirect-on-write)或写时复制COW(copy-on-write)算法。提供快照克隆功能和基于快照克隆功能的容灾和复制功能,从而实现快速备份和恢复米乐m6官网登录入口。
①分布式文件系统自主开发米乐m6手机版,支持多种虚拟化架构(VMware、KVM、Hyper-V)。代表产品是Nutanix,其分布式文件系统是NDFS,此外还有华为、SmartX、达沃时代、大道云行等。
②分布式文件系统自主开发,仅支持自家虚拟化平台,无法独立部署。代表产品是EMC的VxRail,采用VMware+vSAN。
③分布式文件系统基于开源软件开发,仅支持KVM虚拟化米乐m6官网。代表产品是深信服,其分布式文件系统是基于GlusterFS的aSAN,以及H3C基于Ceph的UIS。
①传统服务器厂商有浪潮、联想、DELL EMC、HPE。Nutanix在国内主要是与联想合作,采用X3650服务器,提供基于Nutanix的2U产品。
②相关领域转行的厂商米乐m6官网,如通信领域的华为米乐m6官网登录入口、网络设备领域的H3C、安全领域的深信服等米乐m6手机版。被HPE收购的Simplivity原来采用Cisco或Dell的定务器,后相关业务已并入H3C。
目前市场上影响较大的主流超融合厂商有Nutanix、VMware、华为、H3C、SmartX等。
Nutanix(路坦力):其成立于2009年,是一家提供超融合解决方案的设备厂商。作为超融合领域的领导者,其具有深厚的技术沉淀,拥有多项分布式软件架构专利用户数量庞大,功能稳定完善,在超融合生态链中具有无可比拟的优势。
Nutanix的主要产品是分布式资源管理平台Prism和分布式多资源管理器Acropolis,以及基于这两个整合产品家族的NX系列软硬件一体机。
其中,Prism主要用于提供一键式的基础架构管理平台米乐m6官网,方便用户统一管理各个超融合集群;而Acropolis则用于提供超融合的核心组件,分布式文件系统(DSF)和用于封装虚拟机、存储、容器等接口的应用接口(AMF)。
VMware:其成立于1998年,是一家从事云计算和硬件虚拟化的著名软件公司。目前,VMware的超融合产品包括全包式超融合设备VxRail、VxRack SDDC(软件定义数据中心)和以vSANReadyNode形式提供的超过150种经过认证的平台,其核心为紧密集成的服务器虚拟化平台vSphere(ESXi为其中的Hypervisor组件)、集成在vSphere中的闪存优化型高性能超融合存储方案vSAN和适用于vSphere环境的统一且可延展的管理解决方案vCenter Server。
华为:华为是传统的通信设备制造商,2012年9月华为在云计算大会上发布了FusionCube 9000超融合设备,正式进军超融合市场,随后在2014年6月首次进入Gartner超融合魔力四象限,并在2017年成为首家进入挑战者象限的中国企业。
华为FusionCube超融合基础设施以计算/存储/网络融合、预集成、高性能、高可靠、高安全、业务自动化快捷部署、统一运维管理、资源智能弹性伸缩为设计理念,是华为IT产品线的旗舰产品,其核心是FusionCubeStorage分布式存储平台,通过合理有序组织刀片服务器的本地硬盘,提供高性能高可靠的块存储业务。
H3C(新华三):其最初是2003年由华为和美国网络设备厂商3Com合资成立的一家网络设备制造厂商米乐m6官网登录入口,历经多次股东变化,大股东包括华为、3COM、HP、紫光等,目前仍然占据中国企业网络设备市场龙头地位。除了惠普企业转入的Simplivity超融合产品,H3C还面向IaaS(基础架构即服务)推出了基于OpenStack和KVM的全基础架构软件定义超融合解决方案H3CUIS(统一基础架构系统),包含UISManager统一管理矩阵、UIS8000刀片式超融合设备等,是最早推出超融合解决方案的中国企业,曾在超融合市场连续两年占据中国第一、世界第三。
SmartX(北京志凌海纳科技):其成立于2013年,是中国领先的超融合产品与企业云解决方案创业公司。SmartX落地的联通云数据有限公司沃云平台具有超过2000节点和24TB数据,是得到Granter认可的国内最大规模超融合案例米乐m6。SmartX的产品是SmartXHalo超融合平台和SmartXHalo一体机。
SmartX Halo超融合平台基于自主研发的ZBS分布式文件系统,提供分布式块存储、数据保护、网络管理等IT基础服务,实现“一站式”超融合虚拟化平台解决方案,100%软件定义技术,无硬件平台绑定米乐m6手机版,支持不同厂商多种型号x86服务器,无虚拟化软件锁定,生态友好,支持VMwarevSphere、CitrixXenServer、LinuxKVM等Hypervisor,全分布式设计,内置虚拟化平台、虚拟网络管理和运维管理软件。
SmartX超融合平台的核心是ZBS分布式块存储文件系统,由安装在每个节点上的vSphere、XenServer、KVM等Hypervisor上的SCVM(SmartXControllerVirtual Machine)通过网络组成分布式存储集群来提供虚拟的块设备存储池。SCVM上需要安装一款融合虚拟计算、分布式存储及虚拟网络的基于Linux的操作系统SmartXOS,用于为用户构建完整的超融合虚拟化IT基础架构。
作为一种创新架构,超融合在近年来快速发展,已被金融、制造、医疗等行业广泛采用。SmartX等专业厂商已经基于超融合架构和产品组件,推出超融合云基础设施,将虚拟化、分布式存储、软件定义网络等组件融合部署,实现基于分布式和软件定义的云化架构转型。
虚拟化技术已经成为一种被大家广泛认可的服务器资源共享方式,它可以在按需构建操作系统实例的过程中为系统管理员提供极大的灵活性。由于hypervisor虚拟化技术仍然存在一些性能和资源使用效率方面的问题,因此出现了一种称为“容器”(Container)的新型虚拟化技术来帮助解决这些问题。
近年来,容器技术已成为数据中心新的工作方式。容器作为一种轻量级、可移植、自包含的软件打包技术米乐m6手机版,使应用程序可以在几乎任何地方以相同的方式运行。开发人员在自己笔记本上创建并测试好的容器,无需任何修改就能够在生产系统的虚拟机、物理服务器或公有云主机上运行。
许多公司,包括Google、SmartX等,都在研发基于容器的超融合解决方案,即在同一个物理服务器的虚拟化平台上运行虚拟机(VM)和容器米乐m6官网,共享分布式存储和软件定义网络,并使用统一的界面进行管理,从而更好地满足用户的需要。
超融合作为一种创新的部署策略,从最初进入市场,到当下成为主流方案,发展速度十分迅猛,且未来趋势依然向好。