一家自动驾驶企业,其自动驾驶训练车队每天数据增长量达到数十PB;一家中型三甲医院每月光PACS系统就能产生数十TB的影像数据,并且对于性能要求极高;一家海上风电场,数千家风机的各种物联网设备每天实时产生数据流,需要云、边、端构建起强大的数据基础设施才能支撑起如此规模的应用;一家直播巨头,每月归档数据就高达数PB,并且需要随时配合审计和法规要求调用归档数据……
相比过去,如今的应用在特点、规模、复杂度等方面是今非昔比。如果说用户在业务层最直观地感受到应用层的变化;那么,数据基础架构厂商则在最底层敏锐地体验到了新应用所带来的变革。正如西部数据公司副总裁兼中国区业务总经理刘钢所言:“如今业务场景的多样化带来了对于底层数据存储的不同需求,不同应用对于性能、容量、时延、功耗、成本等也是不尽相同。”
西部数据公司副总裁兼中国区业务总经理刘钢
也正因为如此,像西部数据这样聚焦在数据基础架构的厂商,近年来力推创新存储架构--分层存储,通过更加精细化的管理与分层,以及多种组合来满足应用的需求。
所谓分层存储,其实并不是一个新概念,自从SSD进入到数据中心之后,分层存储概念就开始被业界所提及。但随着用户应用丰富化,以及存储介质的加速发展,分层存储其内涵出现了新的变化。
西部数据介绍,在新的存储架构模型中,数据根据应用特点被分为了极热存储、热存储、温存储、冷存储和极冷存储共5种类型,这五种数据类型往往需要通过不同的存储盘来满足需求。
因此可见,所谓创新存储架构,首先体现的就是存储架构模型更加细分化,通过分而治之的策略让应用数据存储在合适的介质与产品上。例如,极热存储采用内存DRAM,热存储采用高性能SSD,温存储则采用主流的SSD/HDD,冷存储适合采用传统大容量企业级 HDD,极冷存储则会考虑用SMR HDD来把一些随机写入变成顺序写入,更进一步地提高存储的密度。
其次,具体到每一层存储,都需要有更加创新的技术来支撑数据应用。以极冷存储为例,主要应用在归档领域,印象之中似乎是蓝光或者磁带存储产品的市场,但当前归档所面临的数据规模,以及法规与审计对于归档数据调用,推动了新的创新发生。正如西部数据发布的20TB SMR HDD,在功耗、容量上不断突破与创新,正在成为极冷存储最为理想的存储介质。
最后,虽然数据存储架构正在走向分层,但并不意味着彼此孤立,而是需要在整体层面进行联动与组合,以满足数据中心应用多样化的需求。
“在当前数据中心中,主要面临数据增长迅速、存储性能需求倍增、追求极致TCO以及构建绿色能耗体系这几大核心的诉求。我们认为,更加细分和智能的分层存储架构是满足这些诉求最佳方式。”刘钢表示道。
在所有的存储介质中,闪存无疑最受瞩目的明星。随着闪存容量、性能的稳步提升,如何用好闪存也是当前很多用户所面临的挑战。
对此,西部数据思路主要有两点。其一,继续对闪存进行细分,比如,西部数据Ultrastar DC NVMe SSD包括SN640、SN840:SN640适合混合负载的,大概70%读30%写的场景;SN840适合高性能应用场景,50%读50%写。从SN640到 SN840,IOPS从469K到780K,表面差别并不大,但是在技术上,从NAND颗粒到控制器连接通道的数量,都有很大的差异。
其二,西部数据所有闪存产品都采用了纵向集成的策略。所谓纵向集成,即集成完全自主的NAND Flash、SSD控制器和固件于一体,最大限度将闪存的性能和稳定性发挥到极致。这种纵向集成所带来的极致能力,显然是当下用户们在各种应用中最为迫切需要的。
刘钢介绍道:“只有将NAND颗粒、控制器、固件做整体优化,才能让闪存的性能发挥到极致;同时,遇到大负载时,闪存的极致性能依然可以保持稳定,西部数据恰恰能够在这些方面做到业界领先。”
以西部数据Ultrastar DC NVMe SN640和SN840为例,其控制器中有两块芯片,分别处理前段FTL(Flash Transition Layer)和后端Flash Management。前端的FTL芯片包含多个独立的处理器,同时处理I/O输入输出及内部的后台优化工作;后端FM芯片也包含独立处理器多通道管理NAND FLASH。正因为如此,新款的西部数据Ultrastar DC SN840 NVMe SSD可以将性能波动控制在0.11%以内,其产品力不仅受到金融、运营商、互联网、云服务厂商的广泛青睐,更在今年ODCC上荣获了综合性能奖。
如果说存储自上向下的分层是数据管理与应用走向细分化,那么数据中心架构走向分解式架构就是数据存储资源加速走向高效共享化。
“接下来数据中心架构层面一个很大的变化就是分解式架构开始兴起。”刘钢如是说。
在未来,存储系统发展将会呈现出一种开放可组合兼容的分解式架构,其中作为计算核心的服务器被分解为DPU、GPU、FPGA、Memory、Flash、Disk、Tape等器件与CPU内存的资源组合,这些资源通过虚拟化技术结合场景进行组合,需要的时候对外提供,不需要的时候返还给资源池,从而实现弹性伸缩的效果。
实际上,分解式的架构带来最为直接的好处就是,用户并不用担心底层存储到底是何种技术组合,而是可以聚焦上层业务创新,根据业务需求特点来选择不同的组合,实现存储资源和效率的最大化,以及上层应用的最佳体验。
当然,分解式架构的兴起也必然会让西部数据这种拥有全面产品线和产品组合的厂商更加如鱼得水,西部数据在数据中心已经拥有高容量的企业级硬盘、企业级固态硬盘,以及高密度、高性能的JBOD&JBOF、NVMe-oF新型系统等一系列产品组合,可以为数据中心提供各种最优组合。
“西部数据正在加速产品、技术研发的整合,并且会继续跟市场上系统级的厂商、方案商、软件公司一起合作,完善产品组合的搭配,让其满足不同用户的需求。”刘钢补充道。
事实上,数据中心架构走向分散化的趋势也跟当下新基建的潮流所吻合。众所周知,新基建将会带来基础设施的又一轮革命,5G、人工智能、大数据、云计算等技术在各种业务场景中的应用,不仅会让旧场景迎来新的智能化升级,也会迸发出更多新场景的创新,而落实在底层数据中心,对于数据基础架构的性能、容量、能耗又提出了更高的要求。
“西部数据自身定位是数据基础架构的领导者,成为新基建的关键部件提供商,为新基建提供智能的‘砖’和‘瓦’,以及规划数据基础架构,以满足上层应用的各种需求。”西部数据公司副总裁兼中国区业务总经理刘钢最后表示。
本文分享自微信公众号 - 大数据在线(dobigdata)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。
来源:oschina
链接:https://my.oschina.net/u/4467661/blog/4808546