我国数据中心的发展
概况
大数据 (big data , mega data)信息技术产业是国家重点扶持的七大战略性新兴产业之一、在麦肯锡全球研究所McKinsey Global Institute 给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像Map Reduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
数据中心
数据中心(IDC)是大数据 (Big data , Mega data)信息技术产业作为信息化建设的核心内容、重要载体。
随着以互联网、云计算和大数据为代表的信息经济的迅速发展,数据中心(IDC)已成为信息社会重要的基础设施,迎来了快速发展期,国内外纷纷布局发展数据中心(IDC),我国在数据中心(IDC)的布局建设上也不遗余力,从标准、规划以及鼓励扶持措施等方面提出相关政策。
2012年11月,工业和信息化部发布《关于进一步规范因特网数据中心业务和因特网接入服务业务市场准入工作的通告》,进一步完善了数据中心(IDC)业务准入要求。监管政策降低了数据中心(IDC)市场准入门槛,促进数据中心(IDC)市场健康快速发展。
2013年1月,工业和信息化部、国家发展改革委、国土资源部、电监会、能源局等五部委联合发布《关于数据中心建设布局的指导意见》。《指导意见》指出数据中心(IDC)的建设和布局应以科学发展为主题,以加快转变发展方式为主线,以提升可持续发展能力为目标,以市场为导向,以节约资源和保障安全为着力点,遵循产业发展规律,发挥区域比较优势,引导市场主体合理选址、长远规划、按需设计、按标建设,逐渐形成技术先进、结构合理、协调发展的数据中心(IDC)新格局。
2015年3月,工业和信息化部、国家机关事务管理局、国家能源局联合印发《关于国家绿色数据中心试点工作方案》,提出到2017年,围绕重点领域创建百个绿色数据中心(IDC)试点,试点数据中心能效平均提高8%以上,制定绿色数据中心(IDC)相关国家标准4项,推广绿色数据中心(IDC)先进适用技术、产品和运维管理最佳实践40项,制定绿色数据中心(IDC)建设指南。
2017年8月,工业和信息化部办公厅印发《关于组织申报2017年度国家新型工业化产业示范基地的通知》,首次将数据中心、云计算、大数据、工业互联网等新兴产业纳入国家新型工业化产业示范基地创建的范畴,并提出2017年度优先支持新兴产业示范基地的创建。
自2013年工信部五部委发布《关于数据中心建设布局的指导意见》,我国数据中心产业已经很明显地呈现出规模化、集中化、绿色化、布局合理化的趋势,已经形成了贵州贵安、河北张北基地、廊坊基地、呼和浩特基地等数据中心(IDC)的产业集聚区。
一方面,部分省市出台相关政策推动数据中心(IDC)建设。2017年3月,浙江省发改委、经信委印发《浙江省数据中心“十三五”发展规划》,提出到2020年,全省基本形成数据中心有序化、规模化、集约化、绿色化、云计算化的发展格局,数据中心(IDC)生产率(DCP)水平全国领先,新建数据中心(IDC)PUE值低于1.5,改造后的数据中心(IDC)PUE值低于2.0,绿色数据中心和云计算数据中心比例均超过40%。数据中心(IDC)年增长率控制在30%以下,至“十三五”末,数据中心(IDC)机架数不超过25万个。
另一方面,部分省市通过政策、节能规划引导数据中心(IDC)降能耗,促进数据中心(IDC)绿色发展。
2018年9月,北京市发布《北京市新增产业的禁止和限制目录(2018年版)》,明确规定全市禁止新建和扩建互联网数据服务、信息处理和存储支持服务中的数据中心(IDC),PUE值在1.4以下的云计算数据中心(IDC)除外;中心城区全面禁止新建和扩建数据中心。与2015年版的限制目录相比,对数据中心(IDC)的要求进一步提高。
2017年3月,上海市发布《上海市节能和应对气候变化“十三五”规划》,指出要严格控制新建数据中心(IDC),确有必要建设的,必须确保绿色节能。在此基础上,上海市还从多个方面对能源管理和节能减排的重点工作予以推进。
广东省利用碳排放配额管理、能源消费指标等多种手段降低数据中心能耗水平。广东省节能中心统筹全省节能监察计划、标准、规程等相关研究工作,组织开展节能技术、产品和新机制推广,推进绿色数据中心项目落地。受北上广等一线城市政策限制,部分数据中心(IDC)建设需求向周边地区外溢。
我国从2009年发展至今、2019年的数据中心总数已接近100万座 (全球约900万座)、占全球的1/9!
近年互联网在社会各行业深入渗透,数据中心(IDC)业务市场始终保持市场规模量级的增长。2018年,我国数据中心(IDC)业务市场总规模达1228亿元,同比增长29.8%,增速放缓2.6个百分点,较2017年增长超过280亿元。
市场规模增速受政策引领与技术升级等多重因素影响,在不同时间节点呈现增降态势。 2010年放宽数据中心(IDC)牌照审核门槛,许多企业得以进入数据中心(IDC)业务领域并快速拓展市场,带来数据中心(IDC)业务市场一轮增长高峰。2014年,由于第4代移动通信技术(4G)业务经营许可权发放,移动互联网流量入口扩展,催生更多应用需求;2016年,短视频技术被各视频与社交平台广泛应用,也同时带来IDC业务市场的增长。在第5代移动通信技术(5G)正式商用之前,将保持现有流量量级,应用市场维持平衡格局,数据中心(IDC)业务市场规模增速相对放缓。
2018年,互联网行业的数据中心(IDC)需求仍是推动数据中心(IDC)业务市场规模绝对值增长的主要驱动力,区域市场中,北上广地区数据中心布局范围逐渐向周边区域延伸,以此满足区域市场内数据中心(IDC)业务需求。
ㄧ、我国大数据中心的位置
网络传输是数据中心(IDC)对外的重要关键,我国数据中心(IDC)有三大核心点和八大节点:
三大核心点 : 北京、上海、广州。核心层的功能主要是提供与国际internet的互联,以及提供大区之间信息交换的通路。其中北京、上海、广州核心层节点各设有国际出口路由器,负责与国际internet互联,以及两台核心路由器与其他核心节点互联;其他核心节点各设一台核心路由器。核心节点之间为不完全网状结构。以北京、上海、广州为中心的三中心结构,其他核心节点分别以至少两条高速ATM链路与这三个中心相连。
三大核心节点负责覆盖范围如下:
北京负责地区: 北京、河北、内蒙、山西、辽宁、河南、吉林、黑龙江、山东。
上海负责地区: 上海、浙江、江苏、安徽、湖北、天津、江西、陕西、甘肃、青海、宁夏、新疆、广西。
广州负责地区: 广东、福建、湖南、海南、四川、云南、贵州、西藏、重庆、广西。
北京国家大数据中心 :
北京是中国电信三大核心节点城市之一,同时也是 ChinaNet骨干网三个国际出口之一,中国电信北方网络的主节点在北京电信上地机房,现北京上地数据中心原来是263机房,后来被电信收购重组为中国电信北京数据中心之一,也是中国电信北方网络主节点ChinaNet骨干网的交换中枢。
上海国家大数据中心 :
上海是中国电信CHINANET骨干网节点,同时也是 ChinaNet骨干网三个国际出口之一;上海电信是中国电信国内长途电信网的重要枢纽节点,也是中国国际通信的三大出口局之一,拥有京沪、北沿海、北沿江、南沿海、沪杭、沪宁等国内长途光缆系统,以及国内卫星通信地球站;是中美、亚欧、亚太、环球、中日、中韩等国际大容量海光缆、陆地光缆系统的重要节点,并建有太平洋、印度洋卫星地球站。
广州国家大数据中心 :
广州市Internet服务中心系统于1996年1月1日正式开通,作为中国公用互联网络服务系统ChinaNET的一个骨干节点,与北京和上海的Internet节点连接,与它们以及其它地区的节点共同构成ChinaNET骨干网。广州节点是继北京、上海之后的第三个国际出口,也是广东乃至全国最大的国际出口之一。
八大节点 : 北京、武汉、成都、广州、上海、沈阳、西安、南京。
西安国家大数据中心 :
西安是中国公用计算机网络和中国多媒体信息网络在西北五省的网络核心中枢,同时,西安又是西北五省和中国公用计算机网络(CHINANET)连接的必由之路,拥有最大的网络传输线路。
南京国家大数据中心 :
南京电信作为CHINANET的八大节点之一,南京电信拥有富足的网络资源,与同是八大节点之一的上海电信相比,南京与其他省市之间的骨干网络资源利用率适度。
成都国家大数据中心 :
成都数据中心是中国电信全国大节点之一,并能提供与国内Chinanet主要节点城市连接的长途专线。
武汉国家大数据中心 :
武汉电信是全国重要的通信枢纽和原中国电信第三大业务领导单位,处于国家骨干通信网8纵8横一级通信干线中心位置。是中国电信建设的三大高速光缆环网(南环,西环和北环)的交汇中心。
沈阳国家大数据中心 :
沈阳主要是作为CHINANET在东北地区的网络中心,在96年开通,由于东北大部分地区都被网通网络覆盖,因此CHINANET沈阳节点是电信节点中规模比较小的。
这几个都是大数据中心,可支配带宽资源丰富,与Chinanet骨干网节点带宽60G,CN2节点带宽10G。中心网络设备确保高可靠性架构,做到无单点故障,分支网络提供冗余设备及线路,可针对客户数据传输,维护的需求提供XDSL,DDN,ISDN等多种接入手段,并能提供与国内Chinanet主要节点城市连接的长途专线。
二、我国数据中心的挑战
数据中心(IDC) 从2009年发展至今、虽然发展迅速且产值很大、 但从2014年开始、我国数据中心(IDC)的市场规模已呈现下滑的增长趋势发展 ,从2014年41.8%的增长率、下滑到2014年29.8%的增长率。
数据中心(IDC)是一个重资产的生态行业,随着数据、信息化的不断发展与演变、数据中心(IDC)已从传统数据中心(IDC)发展、演变成现代的云数据中心(IDC)。传统数据中心(IDC)中我们通常总是认为,在传统数据中心(IDC)里面我们是以数据中心(IDC)的设备为主,从而相对割裂数据中心(IDC)基础设施与企业服务产品,那么快速发展的企业服务,对数据中心基础设施的要求,尤其是对交付的要求是很高的,所以我们认为传统数据中心(IDC)的这种以基础设施为核心的或者说为中心的这种理念,不能满足快速发展的企业服务要求。
为了解决这种结构性的矛盾,我们必须以转变传统数据中心(IDC)的架构,我们必须以服务为导向,把这个传统的数据中心(IDC)基础设施,以及我们所运用的运营管理平台,以及服务产品,作为一个统一的服务产品,按时随时随地快速的进行交付。所以我们云时代数据中心的基础设施的建设,都必须以保证商业模式这种建设的成功为前提。
云数据时代的架构改变了数据中心(IDC)的模式、将数据中心(IDC)分为超大型数据中心和边缘性数据中心的。
根据CISCO对超大型数据中心(IDC)规模的统计和预测,从2016年开始到2021年超大型数据中心的年负荷增长率达到13%,超大型数据中心除了服务器规模达到了10万台或者几十万台这样的规模以外,同样它的功率密度越来越高,达到了8到15千瓦,而且建筑面积以及网络连接是越来越密集,对于安全的要求也是越来越高。
边缘计算是小型数据中心(IDC)的未来,因为不仅仅对于我们个人,对于企业运用客户来讲,比如说我们自动驾驶或者是无人驾驶汽车,远程的办公系统,这些应用场景都要求数据中心(IDC)基础设施更加靠近数据源,这个时候才能满足随时快速的接入的要求。除了对于布局的要求以外,从小型数据中心的管理和部署方面来讲,我们要求数据中心(IDC)更加集成化,部署更加快速化,要求一键即成,快速部署,要求灵活、弹性、要求低的TCO,当然对于我们小型数据中心(IDC)由于广泛的布局,同样对基础设施以及整个信息安全的管理提出的挑战,怎么通过远程智能化的管理来保证管理效率的提升,以及信息安全的保证,这个都是我们面临的挑战。
****三. 数据中心(IDC) 的4大挑战****
四. 云时代数据中心(IDC)基础设施的重点 :
(4-1). 按需部署、弹性、去工程化、模块化、标准化
云商业模式下,由于业务的不确定性,给我们规划造成了一定的挑战,由于数据中心是一个重资产的投入,要严格控制现金流,就必须要在数据中心(IDC)基础设施的交付要根据业务按需、弹性、快速,能够去工程化、模块化、标准化,对业界一些好的应用或者好的理念,比如说在FACEBOOK提出了RDDC概念,亚马逊提出了JITDC的概念,所有这种交付的方式,都是为了满足我们云这种产业或者这种商业模式的需求。
(4-2). 云时代数据中心(IDC)对基础设施架构、设备的需求谨慎
(4-2-1). 直接蒸发or间接蒸发冷却的技术。
在西北地区的数据中心(IDC)建设,可以采用直接新风含直接蒸发冷却技术的解决方案来看,直接蒸发冷却技术是在目前包括亚马逊、微软、FACEBOOK大型云玩家里面是最科学、商业模式最成功的技术解决方案。
(4-2-2). 未来需要采用板极液冷的制冷模式来解决高密度服务器的应用。
除了空调直接新风冷却技术,传统的风介质的冷却,已经不能满足高密度,也就是大于15千瓦的部署,已经不能满足这个要求,板极液冷、全液冷、浸没式的液冷等数据中心空调方案正快速落地、推广。
(4-2-3). 更加弹性的供电架构
对于传统的数据中心(IDC),最多的用户架构是我们经常说的2N的架构,由于上层云技术的应用、上层架构的进步,我们越来越多的供电架构的出现,包含UPS+STS, N+R、分布式供电架构、BatteryinRack、BatteryinServer等架构,这种架构降低了整个数据中心TCO的成本,也使供电架构基础设施的需求越来越有弹性,根据产品的技术水平或者说核算的TCO来选择不同的供电架构。
(4-2-4). 运维/运营管理的数字化、可视化、智能化
千千万万个边缘计算数据中心(IDC)都要对我们的运维、管理提出挑战,我们分布全球的百万服务器手拉肩扛的管理模式已经不能满足这种需求,随着ZiGbee等无线互联的实施,我们万物互联的数字设备通过万物互联管理。并随着大数据、AI等技术得以应用,实现基础设施管理的自动化、智能化。
(4-2-5). 控制数据中心(IDC)规模,降低水电等运维费用
2016年我国数据中心(IDC)总耗电量超过1200亿千瓦,这个数字超过了三峡大坝2016年全年的总发电量,我们传统的数据中心(IDC),我们用的解决方案,大部分是用机械制冷+冷却塔这种模式,水资源由于成本方面的考虑,大家都不是很重视,因为它很便宜,对于我们经营成本来讲压力不是很大,但是数据中心(IDC)规模的不断扩大,数据中心(IDC)对水资源的消耗是一个特别大的挑战。
在美国已经把数据中心(IDC)的绿色或者高效,已经把PUE(Power Usage Effectiveness)和WUE(Water Usage Effectiveness)作为联合评价的指标,来评价数据中心的先进性。目前国内在行业标准里没有一个WUE(Water Usage Effectiveness)的要求,在一些企业标准里,我大概知道的有可能有一两家提到了WUE的要求。在国内有可能达到一个2.2升/千瓦时这样一个水平,有可能这还是一个比较好的水平,但是在美国达到了什么样的一个水平呢?比如在亚马逊、在FACEBOOK的WUE达到了0.2升/千瓦时,所以我们一定要注意我们对水资源这方面的消耗。在实际数据中心的设计和建设的实践中,就遇到了水资源这方面的问题,比如宁夏、在华北地区的内蒙乌兰察布等地区,这些地区水资源都相对匮乏,当我们大规模数据中心设计的时候,我们跟市政管理部门咨询的时候,明确提出你们水资源的要求,我们的市政管网、我们市政水系统满足不了你们的要求,尤其在一个区域内大规模部署数据中心的时候,这个要求和挑战是很大的。
五、全球模块化集装箱型数据中心的发展
Technavio分析师的分析与预测,在2017年至2021年期间,全球模块化集装箱型数据中心 (CONTAINERIZED DATA CENTER) 市场将以12.30%的复合年增长率(CAGR、Compound Annual Growth Rate)增长。
根据Mordor Intelligence分析师的分析与预测,在2019年至2024年期间,全球模块化集装箱型数据中心市场(CONTAINERIZED DATA CENTER)将以25.49%的复合年增长率(CAGR、Compound Annual Growth Rate)增长。
模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)的优点 :
(1). 在工厂制造、集成的预制模块化数据中心(CONTAINERIZED DATA CENTER) :
模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)是在工厂制造、集成的,并通过集装箱运送到最终用户。 此类数据中心中的大多数组件都是预安装的且经测试完成,因此在数据中心项目基地现场的工程量少、直接降低在数据中心项目基地现场的交付压力与风险。
(2). 快速交付的模块化数据中心(CONTAINERIZED DATA CENTER) :
模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)的部署速度将为企业和数据中心运营商提供优势。模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)解决方案可以将数据中心上线的时间缩短至数周。 例如,思科的集装箱式数据中心只需12到16周即可完全部署。
(3). 低PUE与容量弹性的模块化数据中心(CONTAINERIZED DATA CENTER) :
模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)的PUE将是大型数据中心的达成低能耗的依据,同时对以各种不同密度配置的客户要求都能满足且可快速基部署与调整。
(4). 可任意移动、布署的模块化数据中心(CONTAINERIZED DATA CENTER) :
由于模块化集装箱型数据中心是标准化的且它们的尺寸很小具有一定的计算效率,因此可以任意从一个地方移到另一个地方、达到数据中心功能性要求。
对于40%以上的组织而言,可扩展性、弹性化是面临的主要挑战之一。 可扩展性为用户提供了构建模块,以按时间隔和按需购买,为他们的系统增加容量。可以快速满足不断变化的需求。 可以按需容量方法允许调整与扩展。
(5). 标准化的模块化数据中心(CONTAINERIZED DATA CENTER) :
模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)被定义为一种标准化数据中心,该标准化已合并到标准运输集装箱或类似集装箱中。 模块化集装箱型的所有组件组成,包括冷却,电源和机架都是标准化、因此可大大降低采购成本与备品库存压力。
(6). 低建置成本的模块化数据中心(CONTAINERIZED DATA CENTER) :
模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)的方案特色,大大降低 TCO。以Google 为例、2016年,Google估计拥有250万台服务器。但随着其最近涉足云服务,对安全数据存储的需求无比惊人。Google在2016年花费了102亿美元,其中大部分用于土地购置,维护和建设数据中心。模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)的方案可降低 TCO约35%。
模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)还有助于管理资本支出成本并保持更高的运营效率。 这使组织能够采用新技术,并且可以提前数月进行预测,而无需进行数年的计划。
(6). 可回收的模块化数据中心(CONTAINERIZED DATA CENTER) :
模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)可因应需求及变化,进行重新部署与回收,回收的模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)可返回预制工厂内进行调整后、重新前往其他区域使用。
六. 模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)的市场趋势 :
(1). 2018年全球模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)市场价值为59.9亿美元,预计到2024年将达到233.8亿美元的市场规模,复合年增长率为25.49%,在预测期间(2019-2024)。 随着云计算的日益普及和数据生成的增加,对模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)的需求在过去几年中急剧上升。
(2). 北美是最早采用这些系统的地区之一,该地区许多公司在美国部署这些数据中心。 微软,谷歌和亚马逊是最早部署这项技术的公司,它们在美国建立了集装箱数据中心。市场上的许多主要参与者,包括IBM,HPE和Cisco,都集中在美国。 因此,在过去几年中,北美集装箱数据中心的成长率一直很高。
但是,北美市场正在退缩,因此市场上的许多主要参与者已开始向全球扩展。
七. 模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)的竞争 :
(1). 主要参与者包括-IBM公司,惠普企业,思科系统公司,戴尔,Rittal GmbH&Co. KG和华为技术有限公司等。 这些参与者越来越多地进行并购和产品发布,以开发新技术和新产品并将其推向市场。
(2). 2018年10月-华为发布了CloudFabric云数据中心解决方案,以支持集装箱模块的网络部署自动化,可用于行业领先的企业Kubernetes平台。 据报导,该解决方案旨在让客户获得用于集装箱模块以及其他应用程序(如虚拟机(VM)和裸机服务器(BMS))的统一网络体系结构。 该解决方案旨在自动识别容器平台中定义的容器化微服务需求,并将需求转换为网络策略,并自动交付策略。
(3). 2018年3月-巴林国际机场(BIA)的运营商和管理机构巴林机场公司(BAC)启用了其下一代集装箱数据中心(CDC),该中心是一种便携式且可扩展的设施,用于托管关键的机场信息系统。 CDC由Gulf Business Machines(GBM)设计,提供和实施。
(4). 全球主要参与者 :
八. 模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)的客户类型 :
(1). 所有权类型
(1-1). 购买;
(1-2). 租赁;
(2). 最终用户
(2-1). 工业;
(2-2). 信息技术;
(2-3). 银行、金融服务与保险
(BFSI -Banking, financial services and insurance) ;
(2-4). 政府;
(2-5). 教育;
(2-6). 国防;
(2-7). 娱乐和媒体;
九、模块预制式数据中心方案
(1). 模块预制式数据中心的要点
(1-1). 整合集成所有系统
(1-2). 最优化结构配置(综合成本、PUE… )
(1-3). 厂内预制、生产、组装
(1-4). 厂内试运转、测试
(1-5). 快速交付、投入使用
(2). 模块预制式数据中心的目标
(3). 模块预制式数据中心的市場分析 :
(a). 2018年全球模块化集装箱型数据中心(CONTAINERIZED DATA CENTER)市场价值为59.9亿美元,预计到2024年将达到233.8亿美元的市场规模,复合年增长率为25.49%。
(b). 北美是最早采用这些系统的地区,但是,北美市场正在退缩,因此市场已开始向全球扩展。尤其以亞洲為重點地区。
©. 亚洲地区目前主要的在地竞争者、有华为Huawei (China)、浪潮Inspur(China)、 Telenetix(India)、中兴ZTE(China)、台达Delta (China Taiwan)。
(4). 发展模块预制式数据中心的4阶段步骤建议 :
十、自有模块预制式数据中心产品建议
(a). All in One 方舱级 Block 系列
(b). 模块级 Base系列
©. 动力模块预制舱系列
来源:CSDN
作者:Danny Chen D.C.
链接:https://blog.csdn.net/m0_46452245/article/details/104609746