OpenStack

远程关键数据定期备份

半腔热情 提交于 2020-08-06 13:39:29
远程数据备份和恢复历来分散的原因有两个:移动大量的数据到集中的位置的高额成本,以及远程恢复时缓慢的访问时间。带宽成本高昂,而且在许多远程站点,甚至提供足够的可用性也是夸张的。使问题复杂化的是,传统的备份是批量化的行为,涉及在有限的时间内移动大量的数据。用以支持这种跨越广域网活动的额外的带宽需要证明是不可能的。还有恢复的问题:通过一个小管道备份是痛苦的,恢复数据卷可能是极其痛苦的。 因此,企业往往按照“迷你数据中心”模式实施ROBO备份,每个地点配置自己的备份服务器和磁带驱动器或小型带库。有人在远程办公室定期插入和移走磁带,并且幸运的是,磁带不定期会送到一个外部地点。不同站点的数据保护质量和一致性有着显著的不同。 远程办公室备份技术 对于远程备份,一些技术已经逐渐发展,并导致备份模式的转换和新的可供选择的方案。这些变化包括从改进传统的远程备份模式,到消除远程备份的需要,可能甚至远程服务器和存储。这些包括: 磁盘: 和一般而言的备份一样,低成本,高容量基于磁盘的备份已经成为提升远程保护的主要推动者。使用磁盘能够减少磁带固有的停-起情况、,对可靠性的担心,以及顺序的工作调度和资源管理约束。这些问题使本地远程备份特别痛苦。但是记住磁带的两个优势很重要——低单位储存成本和可运输性——可能成为最主要的因素。 数据复制: 有限的备份运作能力和把数据移动到其它站点的需要

RESTful API 设计规范

不想你离开。 提交于 2020-08-05 07:05:46
目录 文章目录 目录 REST RESTful API RESTful API 设计规范 REST 早古时期,软件和网络是两个不同的领域,前者围绕着单机环境展开,而后者则研究系统之间的通信。随着互联网的兴起,使得这两个领域开始融合,首当其冲的就是基于 HTTP 协议的 Web 服务,越来越多的人开始意识到,“网站” 即是 “软件”。 其中的先驱者就是 Tim Berners-Lee(万维网的发明者,万维网联盟负责人)和 Roy Thomas Fielding(1996 HTTP/1.0、1999 HTTP/1.1 的主要设计者之一,Apache 基金会的第一任主席,Apache Web Server 和 HTTP 协议是共生共荣的关系)等人。 1989年,Tim Berners-Lee 在论文中提出可以在互联网上构建超链接文档,并提出了三点基本要素: URI(Uniform Resource Identifier) :统一资源标识符,是资源(Resource)在互联网中的唯一标识。 HTML(Hyper Text Markup Language) :超文本标记语言,超文本文档是由 HTML 标签组成的描述性文本,HTML 标签将文字,图形、动画、声音、表格、链接等内容格式进行了统一。 HTTP(Hyper Text Transfer Protocol) :超文本传输协议

聊一聊最近比较火的多云管理平台

|▌冷眼眸甩不掉的悲伤 提交于 2020-08-04 23:37:57
全球范围内,基于安全、成本的考虑,选择多云已经成为客户上云的主要形式。根据RightScale 2019 年报告,有84%的大中型企业(雇员1000以上)采用了多云战略,其中选择混合云(公有云+私有云)的场景占58%,选择多个公有云的场景占17%,选择多个私有云的场景占9%。当多云战略被越来越多的客户所接受时,多云管理平台必将成为IT管理的核心。 一、多云管理平台是什么? 首先看下云管理平台的定义,来自于国际权威的研究机构Gartner,“云管理平台(Cloud Management Platform,简称CMP)是提供对公有云,私有云和混合云统一集成管理的产品。云管理平台主要能力包含混合云、多云环境的统一管理和调度、提供系统映像、计量计费以及通过既定策略优化工作负载。更先进的产品还可以与外部企业管理系统集成,包括服务目录,支持存储和网络资源的配置,允许通过服务治理加强资源管理,并提供高级监控,提高性能和可用性。” 目前我接触比较多的是所谓多云管理平台一般指的是“多家云资源管理平台”。目前国内用的最多的公有云有:阿里云、腾讯云、华为云、京东云、百度云、UCloud、小鸟云等;国外用的最多的有AWS、Azure、Google云等。简单来理解多云管理平台就是指在一个平台上能够管理上述多家云资源。 二、多云管理平台能干什么? 多云管理平台首先要做到多云纳管。能把主流云服务商的平台都兼容了

大咖们如何评判优秀架构师?

半城伤御伤魂 提交于 2020-07-28 18:56:43
成为一名优秀的架构师是很多开发者的梦想,但对很多人来说却欠缺一条可供参考的实现路径。「云+社区沙龙online」邀请到腾讯云云服务器副总经理李力、贝壳金服小微企业生态CTO&腾讯云最具价值专家(TVP)史海峰、奈学教育科技创始人&CEO&腾讯云最具价值专家(TVP)孙玄三位大咖,针对架构技术,架构师所需掌握的软硬实力等话题展开的探讨,为想要转型做架构的同学们带来更多启发。本文是此次直播分享的整理回顾。 点击视频,查看完整直播回放 01 优秀架构师的成长故事 李力: 我成为架构师从某种程度上是一件机缘巧合的事情,腾讯没有架构师这样一个实际存在只去做架构规划的岗位,我们技术人员都统称为工程师。腾讯云在2012-13年刚开始研究做云服务器产品的时候,我深入研究了OpenStack这个当时业界最知名的架构,思考我们的云服务器应该怎样去设计才能很好支撑起海量业务。最终在选用开源的OpenStack方案还是自研之间,我们选择了后者。于是我自己设计出了腾讯自研的大规模任务调度系统VStation,从这个项目后我开始觉得自己从工程师变成架构师了,因为我需要去规划一些技术方案和未来的产品走向。再后来,我成为了腾讯云服务器和区块链业务的负责人。 孙玄: 我在浙大毕业以后就去了百度,选择百度的原因很简单,校招时的技术总监说三年内可以实现年薪百万的突破,我就签了offer

服务器兼数据同步

孤街浪徒 提交于 2020-07-28 09:58:27
数据库的备份是一个长期的过程,而恢复只在发生事故后进行,恢复可以看作是备份的逆过程,恢复的程度的好坏很大程度上依赖于备份的情况。在全球大数据暴增的趋势下,市场上以Oracle/Mysql为主的数据库的数据量也越来越大。 那么,UCACHE灾备云如何为企业数据库备份提供持续的数据保护、实时增量备份、数据库自动恢复、数据库归档、灾难恢复等场景,来满足企业不同的RPO,RTO要求呢? 一、UCACHE灾备云作为支持各类虚拟化/云平台的数据备份/恢复的工具 二、作为支持各类数据库的数据备份/恢复工具 三、作为支持各类应用文件系统的数据备份/恢复工具 四、采用块级增量备份技术和即时恢复方式,减少99%的恢复时间; 五、重复数据删除技术,减少备份窗口 , 存储节约70%,重删比接近85%; 六、采用全程加密的方式,同时数据有重删压缩功能,极大的缩短了数据的恢复时间 七、云端千M带宽出口:支持千M北京BGP带宽,为用户数据搬迁全面加速; 八、可以实现秒级接管、分钟级数据库复制和迁移、恢复; UCACHE灾备云功能列举:数据保留策略、流量控制、任务告警、任务日志、FusionCloud 云平台备份/恢复、FusionCloud 云平台备份/恢复、VMware架构虚拟化备份/恢复、H3C CAS云平台备份/恢复、OpenStack云平台备份/恢复、XenServer虚拟化备份/恢复、Hyper

腾讯会议大规模任务调度系统架构设计

南楼画角 提交于 2020-07-28 08:39:53
腾讯会议大规模扩容,快手春节红包流量洪峰:超大规模给云计算系统带来诸多挑战。如何管理海量节点并持续提升可扩展性?如何保证复杂工作流的稳定执行和故障自愈?如何提供高可用、高性能、低成本的计算能力?本文是腾讯云专家工程师李德铠在「云加社区沙龙online」的分享整理,为大家介绍腾讯会议大规模任务调度系统架构设计! 点击视频,查看完整直播回放 疫情期间,很多企业受到了较大冲击,正常的复工生产无法进行。腾讯会议作为一款非常便捷的远程协作工具,成为了国内众多企业日常会议沟通交流的主要平台,这款产品从2019年12月26号正式推出,如何在这么短的时间内有效支撑起国内数以亿计用户的访问量呢?如何保障系统的稳定运行? 下面为大家介绍,腾讯会议8天时间内完成100万核资源扩容背后的技术。 一、两个典型案例 首先介绍腾讯会议大规模扩容,下图所示为腾讯会议的架构图,左右两端的用户通过交换机连接到基站,然后接入腾讯云机房,首先会通过我们的调度中心,还有腾讯后台的接入层,接收到用户发起会议的请求。 拿到请求之后,再通过一些状态机的判断,帮用户加入到对应的会议室里面,然后再跟远端的朋友或同事建立一个音频媒体长链接,再通过混音和流控达到稳定的沟通服务。 今年对于腾讯会议是非常有突破的一年,它在春节期间快速崛起,成为了众多中小企业和学校复工复学必备的APP之一

Ceph中国社区公众号正式变更,全新开始

两盒软妹~` 提交于 2020-07-28 06:23:46
清晨北京 再大的雾霾也会过去 今天正好北京的雾霾散去,空气瞬间变好,也赶上了Ceph中国社区公众号变更,我来讲述下Ceph中国社区的故事——一项开源技术和一群充满朝气的年轻人之间的故事。一个开源社区从建立到发展壮大,就像一个创业公司的奋斗史,跌宕起伏。谨以此文献给在过去两年多的时间中支持Ceph中国社区成长的每一个人。 美好的展望 —— Ceph中国社区雏形 2014年7月份,随着我开始接触OpenStack和Ceph,当初发现国内关于Ceph的资料是少之又少,唯一有几个QQ群还都是潜水员。当初讨论问题还都是在OpenStack群和CloudStack群,索性我就建立了一个Ceph中国社区的QQ群,把大家都召集到了一个比较专一的群来进行讨论Ceph问题。随着Ceph在国内的发展越来越多的人开始接触Ceph,随之而来的是很多入门级问题,QQ群不便于记录和保留问题和答案,所以2015年初决定用论坛形式来保留和记录一些常见的问题和答案。当初我的决定,既然是社区那么就要有完善的体系架构,例如:微信/微博、网站/论坛、QQ群/微信群、Mail List等展示、推广平台。接着加入了几位早期成员,分别来负责几大平台。然而我的定位就是对接几大平台负责人即可,然而理想是美好的,现实是残酷的。先从微信公众号说起,自从某人注册了微信公众号之后就再也没维护过,当初推三阻四说不会运营,我说好没事,我来负责

array数组的使用

血红的双手。 提交于 2020-07-28 05:34:37
bash编程之数组: 变量 :指的是内存中的一段地址空间。 变量名:指的是变量的地址空间 起始的位置。 数组 :在一片连续的地址空间中,可以存储同一类别但是不同取值的值, 这些不同的值可以使用同一名字来使用它们,这个名字就是数组。 数组的引用: 数组是有索引的,也叫做下标,用来表示数组中的不同值。 例如数组的名字是array,而下标叫做index,所以表示方式是:array[index] 下标index的取值默认从0开始。 在引用数组时,如果没有指定下标(例如:array),默认指的就是array[0] declare: -i 表示声明这是一个整数型变量。 -A 表名这是一个数组。 在bash中可以不进行声明,只不过声明后更明显。 数组的赋值方式: 方法1: 当所有的元素值都不为空时,可以这样按照顺序进行赋值: 数组名=("元素1" "元素2") 方法2: 当某些元素值为空时,可以直接指定下标对应的元素值: 数组名=([0]="元素1" [3]="元素2") 方法3: 对每个元素逐个的进行赋值: 数组名[0]="元素1" 数组名[3]="元素2" 引用数组中的元素值: ${array[index]} :这里类似于变量的引用,只不过必须加上花括号"{ }"和"[下标]" ${array[*]} :这里使用"*"代替下标,表示引用数组中的所有元素。 ${#array[*]}

苦尽甘来——Ceph中国社区2016

允我心安 提交于 2020-07-28 01:59:20
作者 | 孙琦 耿航校对 2016年12月11日,北京万寿宾馆,Ceph中国社区迎来了2016年最后一场活动,这是第一次、也是唯一一次全天的活动,到下午会议结束的一刻,整个会场仍然是满坑满谷,这也大大出乎所有人的意料。这样的结果,无疑是对Ceph中国社区一年多工作的最好肯定。 这并不是一篇讲述技术的文章,更像是在讲述一个故事——一项开源技术和一群充满朝气的年轻人之间的故事。一个开源社区从建立到发展壮大,就像一个创业公司的奋斗史,跌宕起伏。谨以此文献给在过去一年多的时间中支持Ceph中国社区成长的每一个人。 中国的开源的驱动力——社区 第一次近距离参与开源软件的开发应该是在2011年,当时和华为的美国研究所合作一个新项目——PaaS的开发,其实就是Cloud Foundry平台,那是第一次那么近距离的接触到开源。尽管参与了其中的很多开发工作,但是对于开源社区的认知几乎为零。我相信当时很多人基本上会把“开源社区”等同于“技术论坛”,例如当时知名的ChinaUnix、JavaEye等一大批的交流平台。2012年中期,开始接触OpenStack平台,这是我第一次真正的感受到了社区的强大力量。得益于当时OpenStack官方社区以及企业的支持,再加上当时中国OpenStack两位旗帜性的人物的倾力宣传,OpenStack在2012年下半年掀起了一股前所未有的热潮

SwiftStack 和 Swift

天大地大妈咪最大 提交于 2020-07-27 18:55:21
SwiftStack基于swift开发,swift是开源的,而swiftstack是闭源的商业软件,已经被NVIDIA收购。 SwiftStack与Swift SwiftStack is a complete, enterprise-ready storage product with OpenStack Swift at the core. SwiftStack delivers needed and innovative functionality outside the datapath, while OpenStack Swift components are in the datapath. This gives enterprises private cloud storage that’s easy to deploy, scale, integrate with existing systems, and maintain over time. 上图来自于: https://www.swiftstack.com/product/open-source/openstack-swift 更多参考: SwiftStack高带宽分布式存储系统 SwiftStack 7 storage upgrade targets AI, machine learning use