走在存储行业前沿,华为NVMe SSD存储历尽千帆仍少年。
出品 | 常言道
作者 | 丁常彦
如果说全闪存是未来存储市场的大势所趋,那么NVMe SSD则是全闪存市场的发展大势;如今,全球各大存储厂商都在加速推出基于NVMe的新一代存储产品,华为同样也在积极投身这一代表存储技术未来走向的前沿领域。
日前,入选华为“天才少年”的两名博士生,在加入华为后也将从事华为存储相关的研究,新型存储介质(NVM,SMR)、数据库和键值存储系统正是他们的研究方向之一。
事实上,早在2005年,华为就开始了闪存技术的研究,经过十多年的持续积累,目前华为已经是存储行业内拥有SSD盘片级专利最多的厂家之一。尤其在NVMe(非易失性内存主机控制器接口规范)领域,华为更是在业内唯一端到端开发了NVMe SSD盘、NVMe闪存控制器和NVMe全闪存操作系统的企业,并在新一代OceanStor全闪存中率先实现了全系列端到端NVMe产品。
梁启超在《少年中国说》中如是说:少年智则国智,少年富则国富;少年强则国强,少年独立则国独立……通过“天才少年”计划聚拢高端人才的华为存储,不仅要成为NVMe SSD的引领者,距离登顶全球存储市场也已经不远。
成为存储事实标准 NVMe时代全面到来
NVM(非易失性存储器)是一种计算机即使关闭电源也能够保存已保存数据的存储器;与易失性存储器不同,NVM不需要定期刷新其存储器数据。不仅如此,NVM还具有空闲能耗极低和高读写速度等优点,因此吸引了各大存储厂商对其进行研究。
随着闪存的普及,标准协议接口重要性日益凸显。而NVMe就是一种基于非易失性存储器的传输规范,有助于缓解闪存通过SAS(串行连接的SCSI)或SATA(串行高级技术附件)协议连接到系统时出现的瓶颈,使SSD(固态硬盘)与主机系统通信的速度更快,大大提高性能。
简单来说,NVMe就是让SSD的数据传输更快,使得SSD的优势可以得到充分发挥;甚至,NVMe已经被认为是存储领域的事实标准。根据2019年全球闪存峰会的预测,2020年将有50%以上的服务器,40%以上的阵列支持NVMe SSD,NVMe将很快超过SATA/SAS成为SSD使用的主流存储接口,宣告NVMe时代的到来。
来自IDC的分析也认为,NVMe固态硬盘在2018-2023年间以38%的复合年增长率持续增长,在2020年就会占据企业级PCIe SSD总出货量的55%以上,云客户、OEM厂商和企业们正在撤离SATA和SAS曾经盘踞的阵地。
与此同时,NVMe over Fabrics(简称NOF+)的出现,则把NVMe协议在单系统时代提供的高性能、低延迟和低协议负担的优势进一步发挥到了NVMe存储系统互连结构中。针对业界NVMe over RoCE的现状,华为也在集中力量、充分发挥宽产品线和精英技术体系的优势,从存储和网络两个方面对业界标准的NVMe over RoCE方案增强,并推出了NOF+增强方案。
据了解,华为NOF+增强方案改变了以往数据中心内5种协议(FC/IP/IB/PCIe/SAS)3张网的复杂局面,通过1种协议1张网管理整个数据中心,既避免复杂的网络协议和规划,也极大简化了数据中心内的部署和维护。不仅如此,华为NOF+增强方案基于智能无损网络和存储的智能“传-算-智-存-管”芯片,实现数据在整个数据中心内端到端调优,加快了数据传输速率,减少了网络传输中的误码率。
更重要的是,华为NOF+增强方案可以实现故障自动巡检-即时感知-主动修复,链路故障感知时间从15秒至30秒缩短到1秒以内,极大提升了系统可靠性,保障核心业务使用无忧。
披荆斩棘 在NVMe领域趟出一条创新路
尽管存储协议向更高效的NVMe协议发展已经是大势所趋,但作为一种全新的协议,在带来极致性能的同时,也给盘片和系统的设计带来新的挑战。首先,NVMe SSD作为硬盘的一种,必须要支持快速在线更换,而传统的PCIe对热插拔支持易用性不好,特别是暴力热插拔(PCIe surprise hot plug),很容易导致系统异常,业务中断。
因此,在企业存储中,高可靠性必须采用双控冗余技术,基于PCIe的双端口技术是SSD设计面临的一个难题。不仅如此,NVMe存储系统还面临另外一个挑战——系统级的优化,NVMe不只是简单的NVMe SSD盘的简单替代,同样需要重新设计系统IO架构,适应多核并发处理流程,只有这样才能发挥出其优势。
除此之外,随着数据的爆炸式增长,大盘时代已来,存储正在面临如何应对海量数据的可靠性压力。为了应对这些挑战,华为经过在闪存技术领域十多年的积淀和实践,已经在众多技术领域实现了突破:在端口可靠性层面、在热插拔层面、在大盘数据保护层面、在跨站点数据保护层面,华为都有自己的独到之处。
在端口可靠性层面,华为自研SSD支持双端口技术,两个PCIe 3.0X2端口独立,互相不影响,为系统修复和异常处理提供了硬件基础,保证了系统双控冗余性,相当于给系统上了一个双保险。
在热插拔层面,华为存储在PCIe已经积累多年,不仅具备完善的PCIe链路管理、PCIe异常处理技术、PCIe热插拔技术,还对PCIe驱动做了特殊设计,支持SSD盘在任何时间、以任何方式拔出,并提供端到端的PCIe系统可靠性,从而保障单盘更换或是发生故障时不扩散,保障了系统可靠性。
在大盘数据保护层面,华为全闪存则采用创新的RAID-TP软件技术,容忍同一个RAID组内1-3块盘同时失效,即使在3块盘同时失效的情况下也能够容忍数据不丢失,业务不中断。目前业内仅有3家厂商可以做到同时容忍3块盘失效,华为就是其中之一。
在跨站点数据保护层面,华为NVMe全闪存则具备完备的数据保护技术,快照、克隆、远程复制等技术可以帮助客户建立从本地到同城数据中心,以及异地数据中心的层层递进的数据保护方案。尤其在双活方案上,华为率先在NVMe全闪存领域实现免网关双活方案,双活时延仅有1毫秒,达到了性能业界最高;RPO为0,RTP约等于0,保障业务7*24高可用,并支持从双活方案平滑升级到3DC方案,提供更高级别的可靠性。
凭借这些技术创新,在新一代OceanStor全闪存中,华为率先实现了全系列端到端NVMe产品,达到业界最快的小于0.08ms时延。不止如此,在传输路径层面、软件协议解析层面、协议封装层面、多队列并发层面、锁机制优化层面和操作系统优化层面,华为都有着自己的独到之处,而这些恰恰也赋予华为在NVMe领域的领先者地位。
不忘初心 历尽千帆归来仍是少年
“我还是从前那个少年/没有一丝丝改变/时间只不过是考验/种在心中信念丝毫未减……”一首《少年》从抖音走红,成为2020年最热的励志网络歌曲之一。这恰恰也是华为存储的内心写照。
自2002年开始投入存储研究,过去十多年间,华为在存储领域的持续高强度研发投入,不止是在NVMe的研发上取得了连续突破,其分布式存储产品也实现分布式存储性能全球第一,单节点性能高端16.8万 IOPS和1毫秒以内时延,在业界标准SPC-1测试中排名第一,还首次在一套存储中实现了同时支持块、文件、对象、HDFS协议,并且率先将人工智能技术融入到存储全生命周期管理。
根据Gartner最新市场研究报告显示,2019年华为存储排名全球第四、中国区第一,全闪存存储年增长31%,连续8个季度保持全球第一。即便在今年第一季度受疫情影响最为严重的中国区,华为存储仍然实现了15.4%的收入增长,增长率中国区第一;而在海外市场方面,华为存储更是实现了38.5%的增长,增长率排海外市场第一。
在华为云与计算BG副总裁、数据存储与机器视觉产品线总裁周跃峰看来,华为存储的高速增长,一方面源于多年来对产品持续创新的坚持,另一方面是华为能敏锐洞察企业在推进数字化和智能化转型过程中面临的存储痛点和数据管理需求。
正是得益于此,截至目前,华为存储已进入全球超过150个国家,广泛服务于运营商、金融、政府、能源、医疗、制造、交通等多个行业超过12000家客户,成为全球各行业数据存储与处理的优先选择。
即便已经取得了这样耀眼的成绩,华为存储依旧不忘初心,继续加强在存储研发上的投入,借助“天才少年”计划引入高端研发人才只是众多举措中的一个;去年,周跃峰曾公开表示,华为首次针对数据基础设施技术难题,设置了“奥林帕斯奖”,以奖励全球在数据基础设施领域取得突破性贡献的科研工作者。
奥林帕斯山位于火星西半球,是整个太阳系中最高的山。华为存储将奖项名称命名为“奥林帕斯奖”,无疑也有对自己再攀高峰的期许。
如今,不只是NVMe标准化组织官方,SNIA、PCI-SIG、Gartner、IDC等标准化组织和分析机构也同样在推动NVMe发展。与此同时,不论金融、制造、医疗等传统行业,还是人工智能、自动驾驶等新兴领域,都在加速NVMe SSD的应用,以推动行业的数字化转型。在这样的历史机遇下,不忘初心的华为NVMe,也将从一个成功走向下一个成功。
END
长按指纹 识别二维码 关注我
欢迎讨论与转载,转载请注明作者与出处。
个人手机号:13810967685(同微信),欢迎私信爆料或交流。
“常言道”已入住今日头条、一点资讯、搜狐新闻、网易新闻、凤凰新闻、腾讯新闻、新浪新闻、知乎、UC、博客中国、趣头条、天极网、商业新知等多个媒体平台。
来源:oschina
链接:https://my.oschina.net/u/4278251/blog/4488304