您所在的位置:首页 > 新闻中心 > 重新定义ZB规模数据中心的开放性计划,西部数据推出分区存储技术
公司要闻
重新定义ZB规模数据中心的开放性计划,西部数据推出分区存储技术
发布时间:2020-01-20 06:20
访问量:359

7.开源软件和API正在让分类和可组合性变得更容易。

西部数据公司宣布推出分区存储技术,旨在为云和超大规模数据中心架构师融合创新与行业标准,从而设计出高效的存储层,帮助用户在ZB级容量的存储时代保持具有竞争力的总体拥有成本,实现更大的规模效益。 分区存储集合了工具和资源,利用分区管理的优势,构建了一个强大且高效的定制化存储层,从而实现在当前和未来都具有竞争力的总拥有成本。 西部数据在ZonedStorage.io上开设了全新的开发者网站,提供针对ZNS和SMR的开放源代码和基于标准的工具和资源。 SMR硬盘磁记录面密度增长率紧随全球数据需求的快速增长。西部数据展示了高达20TB最新存储容量硬盘,该产品预计将于2020年出货。据西部数据估计,到2023年,公司交付的HDD容量中有50%将在SMR上提供。 2019年6月12日,秉承着赋能定制化、开放且可扩展的数据中心架构的核心使命,西部数据公司宣布推出分区存储技术,旨在为云和超大规模数据中心架构师融合创新与行业标准,从而设计出高效的存储层,帮助用户在ZB级容量的存储时代保持具有竞争力的总体拥有成本,实现更大的规模效益。 由左至右:西部数据公司产品市场部副总裁-Eyal Bek、西部数据公司产品市场部副总裁-朱海翔以及西部数据公司高级副总裁兼中国区总经理-Steven Craig IDC报告指出,预计从2023年起,企业、机器、工业、消费、科学等领域每年产生的数据量将高达103 ZB*。如今的通用存储架构效率低下,并且在面对越来越多的工作负载、应用和数据集时,可能会产生巨大的资源需求和成本开销,因此针对下一代数据发展,我们需要新的数据中心结构:可编程的去集群化基础架构。由于越来越多的数据具有顺序写入的特性,例如视频、物联网/边缘数据、监控,以及可以分组或分区化成更大数据块的数据,这使我们可以加速推广分区存储设备,对工作负载进行合理优化,从而提高性能和效率,更早的实现总体拥有成本的降低。 分区存储架构赋能应用层、主机和存储互相协调数据存放位置,以充分利用在SMR HDD上可以实现的最大存储容量,以及在融入新兴分区命名空间 (ZNS) 标准的NVMe SSD上可以实现的更好的耐久性和可预测的低延迟和QoS性能。 ZNS是NVMe标准规划内的新特性,也是对SMR技术的补充,它让开发人员在共同的软件堆栈下可以不分存储介质类型有效的调用SMR和ZNS。预计到2023年,西部数据公司将在SMR上提供50%的HDD 容量,而客户可以利用其SMR应用开发成果涵盖高容量ZNS SSD。SMR和ZNS也将通过提供智能化应用架构成为当前和未来ZB级数据时代的关键基石。 IDC基础架构系统、平台与技术集团副总裁Ashish Nadkarni表示:毫无疑问,我们的行业需要凝聚一心,寻求一种创造性的新方式来设计并构建面向未来的基础架构,以便更智能及高效地优化工作负载、存储和计算基础架构。预计到2022年,HDD和SSD的总金额将达到IT基础架构总支出的27%,我们认为,对于云和超大规模数据中心客户来说,SMR、和ZNS SSD是其优化基础架构、实现更大规模经济效益的良机。通过开放且标准化的方式统一ZNS和SMR架构是符合业界逻辑的一个进步,能够利用SMR HDD面密度的增加和闪存技术创新的优势。率先进入这一市场的用户无疑能够在总体拥有成本和学习曲线方面占得先机。 通过面密度领先的SMR硬盘和ZNS NVMe SSD,为分区存储奠定基础 越来越多的云服务提供商正在投入资源管理高容量SMR HDD的主机软件,以便协助大体量客户实现更好的总体拥有成本。SMR和ZNS正在从根本上重塑云和企业数据中心,以确保在未来能够长期节约总体拥有成本。随着生态系统的不断发展和SMR的推广,西部数据致力于在提供高容量的同时不断演进能源辅助磁记录技术。目前西部数据Ultrastar DC HC620 SMR15TB硬盘已批量出货。 西部数据还宣布针对早期分区存储工作而推出ZNS开发SSD。与传统的NVMe SSD相比,ZNS NVMe SSD具有多种优势。这些ZNS SSD符合NVM Express公司定义并管理的ZNS功能集规范,旨在减少写放大,增加可用容量,并提供更高的吞吐量和更低的时延。ZNS SSD通过将区域与SSD的内部物理属性进行匹配而实现这些改进,有效的减少数据存放低效能的现象。 全新ZonedStorage.io社区网站集合开放源代码工具和技术资源 作为在NVMe联盟持续做贡献以及长期为开源社区提供基于SMR工具的自然延伸,西部数据特别推出了ZonedStorage.io。该网站与开源社区、客户和行业参与者通力合作,目的是在开发人员社区内启动应用开发计划,帮助数据中心基础架构工程师更好的利用分区存储技术。该网站提供了软件开发库、工具、ZNS信息、SMR资源和参考架构等,为管理定制化ZNS SSD和容量优化的SMR HDD提供了统一的框架。通过这一举措,开发人员将对社区、行业参与者及支持者构成的蓬勃发展生态系统充满信心,其中生态系统的成员已经包括ATTO Technology、Broadcom、Mellanox和SUSE。 除了推出ZonedStorage.io网站外,西部数据的产品套件还包括Ultrastar ZNS NVMe开发SSD和Ultrastar DC HC620 SMR HDD 15TB。Ultrastar DC HC620 15TB现已推出并向已通过验收的客户批量供货。Ultrastar ZNS NVMe开发SSD也将向部分客户开放。 业界专家引言: 西部数据首席技术官Martin Fink表示:如果您想象一下数字宇宙,并且构想一下其中会有多少数据内容产生--从医疗保健到自动驾驶汽车,再到数字市场和智能城市,可以说,我们只是看到了ZB级数据的冰山一角。面对巨大的数据量,数据中心架构师不能再简单地使用通用IT的方式解决问题。分区存储以及我们在闪存和SMR方面的创新,为客户构建和智能优化未来工作负载提供了所需的工具和资源,包括在9磁碟上实现的20TB新硬盘容量。通过对软件堆栈的理解以及对RISC-V和NVMe/NVMe-oF等计划和标准委员会的长期贡献,我们期待与开放源代码社区分享这些知识,以帮助推动ZNS和SMR的支持和采用。 Broadcom数据中心解决方案事业部副总裁兼总经理Jas Tremblay表示:作为主机管理的SMR HDD生态系统的一部分,我们一直在与西部数据合作,共同测试、验证和交付解决方案。作为存储控制器的领先供应商,我们的目标是在降低风险的同时降低总体系统成本,并加快产品上市速度,使客户能够创建更好的基础架构设计。分区存储是崭新且具有历史性的一步,可帮助云和超大规模数据中心客户为迎接ZB规模时代做好准备。凭借西部数据的强大管理能力,以及NVMe委员会和开放源代码社区的工作,我们将为未来几代的存储层提供去集群化、智能化和标准化。 SUSE产品管理Linux平台总监Matthias Eckermann表示:SUSE是开放源代码软件和软件定义的基础架构的先驱,我们致力于帮助客户管理数据复杂性并提高效率。主机管理的SMR HDD和ZNS是分区存储的两项基础技术,其中SUSE Linux Enterprise Server 15和SUSE Enterprise Storage将在应用、主机和存储的编排中发挥重要作用。这样可以提高工作负载效率,更好地利用IT基础架构和资源,并降低总拥有成本。我们期待为ZonedStorage.io社区做出贡献,为ZB规模时代贡献力量。 Mellanox Technologies软件基础架构高级副总裁Dror Goldenberg表示:Mellanox提供独特的智能网络和存储加速技术,并与西部数据合作,为全球客户提供真正一流的存储解决方案。我们期待在分区存储中与西部数据通力合作,将SMR和ZNS存储与Mellanox的BlueField和SmartNIC产品组合结合使用,以提供具有高度扩展能力和适应性强的基础架构,从而满足数据中心不断增长的数据量、带宽需求和新应用类型的要求。 ATTO Technology高级市场总监Tom Kolniak表示:作为专注于为严苛的数据密集型IT和ME环境提供存储、网络连接及基础架构解决方案的领导者,我们的目标是与生态系统合作伙伴合作,包括主机管理的SMR领域中的西部数据以及开放源代码社区,帮助客户更好地存储、管理和交付数据。分区存储通过ZonedStorage.io并利用ZNS和SMR开展的基础开放源代码工作为软件定义存储基础架构提供了更多选项,为应对当前复杂的存储挑战提供了一种方式,并为更智能地管理和扩展未来工作负载奠定了基础。

既然无法实现简单的数据复制,就应该提供某种数据迁移功能,以便将数据从旧的存储平台迁移到新的平台,否则就必须通过备份副本来恢复数据。

作为在NVMe联盟持续做贡献以及长期为开源社区提供基于SMR工具的自然延伸,西部数据特别推出了ZonedStorage.io。该网站与开源社区、客户和行业参与者通力合作,目的是在开发人员社区内启动应用开发计划,帮助数据中心基础架构工程师更好的利用分区存储技术。该网站提供了软件开发库、工具、ZNS信息、SMR资源和参考架构等,为管理定制化ZNS SSD和容量优化的SMR HDD提供了统一的框架。通过这一举措,开发人员将对社区、行业参与者及支持者构成的蓬勃发展生态系统充满信心,其中生态系统的成员已经包括ATTO Technology、Broadcom、Mellanox和SUSE。

1.我们面临着为容量级HDD提升性能的持续挑战,这也为新一代采用闪存的高密度解决方案创造了机遇。而由于HDD针对每TB容量成本进行了优化,未来仍会拥有大量使用案例。

责任编辑:刘沙

提问

西部数据首席技术官Martin Fink表示:“如果您想象一下数字宇宙,并且构想一下其中会有多少数据内容产生——从医疗保健到自动驾驶汽车,再到数字市场和智能城市,可以说,我们只是看到了ZB级数据的冰山一角。面对巨大的数据量,数据中心架构师不能再简单地使用通用IT的方式解决问题。分区存储以及我们在闪存和SMR方面的创新,为客户构建和智能优化未来工作负载提供了所需的工具和资源,包括在9磁碟上实现的20TB新硬盘容量。通过对软件堆栈的理解以及对RISC-V和NVMe/NVMe-oF等计划和标准委员会的长期贡献,我们期待与开放源代码社区分享这些知识,以帮助推动ZNS和SMR的支持和采用。”

10.分布式数据中心架构让闪存能够进行封装并以新的方式访问数据,使得计算能够凭借更具可预测性的性能来更直接地连接到数据,从而最大限度地减少限制以及干扰其他租户。(作者为西部数据Adam Roberts)返回搜狐,查看更多

【编辑推荐】

越来越多的云服务提供商正在投入资源管理高容量SMR HDD的主机软件,以便协助大体量客户实现更好的总体拥有成本。SMR和ZNS正在从根本上重塑云和企业数据中心,以确保在未来能够长期节约总体拥有成本。随着生态系统的不断发展和SMR的推广,西部数据致力于在提供高容量的同时不断演进能源辅助磁记录技术。目前西部数据Ultrastar DC HC620 SMR15TB硬盘已批量出货。此外,在今天的分区存储技术媒体发布会上,西部数据将展出20TB SMR HDD——您也可以关注西部数据6月14日的云存储峰会直播,了解更多关于20TB SMR HDD的信息。

9.基础设施将变得越来越数据化。随着闪存和磁盘都连接到一个共同的架构,复杂和动态的工作负载所需的灵活性将推动分布式架构和软件可组合基础架构的应用。

Q3:SDS目前软件厂商除了VMware还有别的厂商吗?

全新ZonedStorage.io社区网站集合开放源代码工具和技术资源

3.闪存正在进入网络。资源池化解决方案允许简化服务器和存储设计端。

SDS大部分按照容量包获得许可。许多软件还针对高级功能收取额外费用。这就造成了一个问题,因为大部分数据中心从来都不能确定自己合适的容量限点来充分利用容量打包价格的优势。例如,一个初级容量包可提供1-10TB的存储服务,更高一级的容量包则支持10-25TB。如果企业需要11TB存储容量怎么办?这就意味着企业为了支持多出的1TB的容量,必须升级到25TB的容量许可。

6月12日消息,秉承着赋能定制化、开放且可扩展的数据中心架构的核心使命,西部数据公司 (NASDAQ: WDC)今天宣布推出分区存储技术,旨在为云和超大规模数据中心架构师融合创新与行业标准,从而设计出高效的存储层,帮助用户在ZB级容量的存储时代保持具有竞争力的总体拥有成本,实现更大的规模效益。

4.在业内,如Open19等开放式设计工作将加速资源池化设计的脚步,同时允许呈现“盒中(in the box)”差异化。

随着企业业务发展以及各种平台、系统的建立也意味着需要管理的数据量越来越庞大,资源维护成本越来越高,效率越来越低。那么面对企业对数据的不同时效、不同访问频率、不同重要性等要求,如何降低数据存储和使用维护成本,对不同数据进行生命周期管理是非常有必要的。

西部数据还宣布针对早期分区存储工作而推出ZNS开发SSD。与传统的NVMe SSD相比,ZNS NVMe SSD具有多种优势。这些ZNS SSD符合NVM Express公司定义并管理的ZNS功能集规范,旨在减少写放大,增加可用容量,并提供更高的吞吐量和更低的时延。ZNS SSD通过将“区域”与SSD的内部物理属性进行匹配而实现这些改进,有效的减少数据存放低效能的现象。

原标题:关于闪存你要知道的十件事

Q1:SDS能达到企业级应用的标准吗?比如几个9之类的

SUSE产品管理Linux平台总监Matthias Eckermann表示:“SUSE是开放源代码软件和软件定义的基础架构的先驱,我们致力于帮助客户管理数据复杂性并提高效率。主机管理的SMR HDD和ZNS是分区存储的两项基础技术,其中SUSE Linux Enterprise Server 15和SUSE Enterprise Storage将在应用、主机和存储的编排中发挥重要作用。这样可以提高工作负载效率,更好地利用IT基础架构和资源,并降低总拥有成本。我们期待为ZonedStorage.io社区做出贡献,为ZB规模时代贡献力量。”

责任编辑:

答:思想本质一样,都是解耦,分离数据层面和控制层面。

业界专家引言:

2.新型“专为闪存设计”尺寸外形的推出改善了闪存的容量和性能密度。包括以一种更高效的方式构建1U机箱(8个驱动器替代(2)2.5英寸驱动器)。

许多SDS解决方案不能提供完整的数据服务功能性。举个简单的例子,许多SDS解决方案无法将数据复制到远程位置,因此无法创建数据的灾难恢复副本,甚至无法将数据迁移到SDS架构本身。

图片 1

5.行业正在实现向网络的迁移。近期Western Digital宣布推出OpenFlex平台和Kingfish开源管理软件。与NVMExpress over fabric相结合,这些技术将推动开放软件可组合基础架构的开放标准。

历史经验一再表明,由技术进步推动的变革往往以超乎人们想象的速度和烈度发生。SDS软件定义存储作为新兴的技术,即使穷尽你所有想象,也难以预测其发展的速度有多快,影响的程度有多深远。面对新的变革和潮流,在追逐变化的同时,还需冷静思考可能带来的问题。SDS在数据中心的应用一定能提高性能和降低成本,并可控风险么?SDS会隐藏什么样的问题?

Mellanox Technologies软件基础架构高级副总裁Dror Goldenberg表示:“Mellanox提供独特的智能网络和存储加速技术,并与西部数据合作,为全球客户提供真正一流的存储解决方案。我们期待在分区存储中与西部数据通力合作,将SMR和ZNS存储与Mellanox的BlueField和SmartNIC产品组合结合使用,以提供具有高度扩展能力和适应性强的基础架构,从而满足数据中心不断增长的数据量、带宽需求和新应用类型的要求。”

8.QLC提高了闪存密度并扩大了成本范围。为跨闪存和磁盘技术的存储服务创造更多选择。

Q2:软件定义存储中是计算节点和存储节点分开好还是一起好?

图片 2通过面密度领先的SMR硬盘和ZNS NVMe SSD,为分区存储奠定基础

6.RDMA和TCP流量控制可以帮助减少分布式解决方案内数据迁移的负担。

答: SDS的高可用性目前没有传统存储高,如果你做两个节点的插拔盘测试,你会发现高可靠性不像你想象的那样好。

除了推出ZonedStorage.io网站外,西部数据的产品套件还包括Ultrastar ZNS NVMe开发SSD和Ultrastar DC HC620 SMR HDD 15TB。Ultrastar DC HC620 15TB现已推出并向已通过验收的客户批量供货。Ultrastar ZNS NVMe开发SSD也将向部分客户开放。请访问西部数据官网了解Ultrastar产品信息,或访问ZonedStorage.io获取开源信息。

数据中心是非常繁忙的,IT部门要同时接受从多个不同的应用系统发来的需求和数据任务并及时响应和处理。另外,IT专业人员的日常工作还需要维护高可用的基础架构和嵌入许多工作流程。

Broadcom数据中心解决方案事业部副总裁兼总经理Jas Tremblay表示:“作为主机管理的SMR HDD生态系统的一部分,我们一直在与西部数据合作,共同测试、验证和交付解决方案。作为存储控制器的领先供应商,我们的目标是在降低风险的同时降低总体系统成本,并加快产品上市速度,使客户能够创建更好的基础架构设计。分区存储是崭新且具有历史性的一步,可帮助云和超大规模数据中心客户为迎接ZB规模时代做好准备。凭借西部数据的强大管理能力,以及NVMe委员会和开放源代码社区的工作,我们将为未来几代的存储层提供去集群化、智能化和标准化。”

软件定义存储的未来

ATTO Technology高级市场总监Tom Kolniak表示:“作为专注于为严苛的数据密集型IT和M&E环境提供存储、网络连接及基础架构解决方案的领导者,我们的目标是与生态系统合作伙伴合作,包括主机管理的SMR领域中的西部数据以及开放源代码社区,帮助客户更好地存储、管理和交付数据。分区存储通过ZonedStorage.io并利用ZNS和SMR开展的基础开放源代码工作为软件定义存储基础架构提供了更多选项,为应对当前复杂的存储挑战提供了一种方式,并为更智能地管理和扩展未来工作负载奠定了基础。”

结合业界的相关标准规范,对企业IT系统的数据进行必要的归类。目前根据系统的业务特点,比较流行的数据归类包括:生产交易型数据、服务支撑型数据与系统数据三部分。

近线存储定位于在线存储和离线存储之间的应用,对性能要求相对来说并不高,但又提供相对较好的读取性能。近线存储策略一般采用中低端磁盘阵列设备,并辅以高压缩软件,满足快速读写等访问动作。

Q4: 软件定义存储与软件定义网络是否本质上一样的?

许多两副本和三副本的解决方案也是在同一个数据中心内或同一POD里,跨数据中心的容灾几乎没有。(还有就是存储双活和仲裁,在这里提一下,不是广告。VSAN支持存储双活,还引入了WITNESS组件。其目的就是在必须做出可用性决策时(在Virtual SAN 群集中)充当打破平局组件,以避免裂脑行为并满足仲裁要求)

答:看使用场景,合并在一起省节点省服务器,对计算能力和存储能力都有要求的适合合并。分开的话,适合大容量存储的,也包括一些离线存储的场景。

在线存储又称工作级的存储,存储设备和所存储的数据时刻保持随时响应状态,可以实时读写的,可满足计算平台对数据访问的速度要求。一般在线存储设备通常为内置磁盘和高端磁盘阵列等磁盘设备,价格相对昂贵,性能最好;

对于SDS来说如果缺少完整可靠的数据服务能力则意味着采用这个SDS解决方案的客户仍然需要购买额外的存储系统来填补新的SDS解决方案所缺少的功能。

根据数据归类,不同类别的数据应匹配不同的数据存储策略。数据存储策略就是将不同的数据存放在指定的存储设备上。目前主要的存储设备主要分成在线存储、近线存储、离线归档存储,三种常用存储。

答:有SMARTX,EMC的SCALEIO 华为的FUSIONSTORAGE等,开源的还有CEPH!应该说这些产品各有千秋,每个都有自己的特点!

离线归档存储是将不再经常使用的数据移到一个单独的存储设备来进行长期保存的过程,对涉及的数据进行离线存储,以备非常规查询等。企业里归档设备一般采用磁带库、光盘库,以及大容量低端磁盘阵列,价格相对低廉。

大部分SDS解决方案都会忽视的另一项成本是:不支持现有基础架构和存储系统所产生的相关成本。许多这类SDS解决方案允许用户在相同的服务器上使用商用硬盘来提供计算(超融合),虽然这降低了未来的成本,但它要求用户购买闪存固态硬盘和硬盘驱动器安装到现有的服务器基础架构中。

对于软件定义存储SDS来说,目前还未充分考虑到数据生命周期的管理,对于冷热数据虽然也有存储区域上的区分,但基本都是拿闪盘来做缓存加速,还不能有效做到分级存储,来满足企业对于大量不同数据的精细化管理和生命周期管理。

问题一、不能充分利用现有的基础架构

对于传统企业的大型数据中心来说,之前商用的中高端存储,都经历了大量生产环境和实践的检验,相对来说成熟稳定。而软件定义存储还未经历大量生产环境的检验和复杂业务场景的企业实践验证,还不够成熟完善。

但软件定义存储凭借深度融合软硬件的精简一体化架构,可将采用最新技术的更快速CPU、内存、闪存和磁盘的优越性发挥到极致。 虽然SDS还有许多问题,但是不妨碍它的优秀。 活在物理世界中的SAN终将被玩转虚拟世界的超融合的SDS架构所替代。SDS超融合架构,必将成为构筑现代化数据中心的新基石。

大多数的SDS解决方案都希望数据中心可以“完全投入”,即用SDS解决方案自带的基础架构和流程替换数据中心现有的存储硬件、基础架构和流程。他们通常希望数据中心摒弃共享式集中存储硬件,而支持商业化的超融合架构。

问题四、缺少合理的计价模式

问题二、不能提供全面的数据服务

问题三、不能很好的进行数据生命周期管理