云计算

略谈分布式系统中的容器设计模式

不想你离开。 提交于 2020-04-11 02:57:37
本文作者:zytan_cocoa 略谈分布式系统中的容器设计模式 谭中意 2020/3/5 前言 :云原生(Cloud Native)不仅仅是趋势,更是现在进行时,它是构建现代的,可弹性伸缩的,快速迭代的计算网络服务的事实标准。其中容器编排系统Kubernetes和容器是基石。所以每个工程师都需要学习和了解他们。学习过程中,很多工程师可能会问: 为什么Pod而不是容器是K8S部署的最小单位 ? 基于K8S设计分布式系统有没有什么套路 ?本文针对这些问题,并参考K8S创始人的很多文档,给出了解答。本文适合进行研发工作2到3年的同学,对架构设计比较感兴趣,有一定架构设计意识,同时对容器(Docker)和容器编排系统(kubernetes)有一定了解。希望可以通过此文,让同学们更深入的了解到分布式容器系统中的几种常见模式,以便以后更好的设计和实现云原生的分布式系统。 先从一篇论文说起 : 首先介绍一篇论文,标题是《Design patterns for container-based distributed systems》,作者是Brendan Burns和David Oppenheimer,论文发表于2016年,是原原生领域系统设计的代表作。 第一作者Brenda Burns,相信熟悉云原生领域的同学都认识他,他之前是Google的工程师,是Kubernetes的三位创始人之一

如何设计一个大规模远程命令执行系统

你离开我真会死。 提交于 2020-04-11 02:28:22
本文作者:AIOps智能运维 干货概览 书接前文,在上一篇文章中我们介绍了大规模命令执行的意义以及所面对的问题和困难,简单介绍了百度集群控制系统(Cluster Control System,以下简称CCS系统)通过构建两级数据模型、四级调度模型、三级代理执行的方式解决了这些问题,在本篇文章中,我们将续接前文,继续对CCS系统的设计实现进行详细剖析。 两级数据模型 设计考量 回顾前文,在面临的需求中我们提到,需要在大规模的服务器上执行命令并且能够灵活控制。为了满足这样的需求,建立数据模型时,只有执行信息是不够的,还要有控制信息,如路由、并发度、暂停点等,两者组合在一起,构成了CCS系统中的数据模型。 控制信息 控制信息包括命令传递所需的“路由”信息和调度过程的控制信息,如下: 目标机器:命令执行的目标服务器列表,可以是IP,也可以是Hostname。 并发程度:分组并发执行时每组的机器数量,用于控制分组执行,避免系统升级时所有服务器同时升级造成业务中断。 暂停节点:指定执行到第几台服务器时暂停执行,方便先操作几台服务器并确认没问题后再继续执行,若有问题也可将问题控制在小范围内。 执行信息 执行信息是指命令到达目标机器后开始执行时所必需的信息,如下: 认证信息:标示执行者是谁的信息,用来确认执行者的合法性,如不合法则拒绝执行。 鉴权信息:标示执行者所持有的权限

如何设计一个大规模远程命令执行系统

你说的曾经没有我的故事 提交于 2020-04-11 02:23:18
本文作者:AIOps智能运维 干货概览 书接前文,在上一篇文章中我们介绍了大规模命令执行的意义以及所面对的问题和困难,简单介绍了百度集群控制系统(Cluster Control System,以下简称CCS系统)通过构建两级数据模型、四级调度模型、三级代理执行的方式解决了这些问题,在本篇文章中,我们将续接前文,继续对CCS系统的设计实现进行详细剖析。 两级数据模型 设计考量 回顾前文,在面临的需求中我们提到,需要在大规模的服务器上执行命令并且能够灵活控制。为了满足这样的需求,建立数据模型时,只有执行信息是不够的,还要有控制信息,如路由、并发度、暂停点等,两者组合在一起,构成了CCS系统中的数据模型。 控制信息 控制信息包括命令传递所需的“路由”信息和调度过程的控制信息,如下: 目标机器:命令执行的目标服务器列表,可以是IP,也可以是Hostname。 并发程度:分组并发执行时每组的机器数量,用于控制分组执行,避免系统升级时所有服务器同时升级造成业务中断。 暂停节点:指定执行到第几台服务器时暂停执行,方便先操作几台服务器并确认没问题后再继续执行,若有问题也可将问题控制在小范围内。 执行信息 执行信息是指命令到达目标机器后开始执行时所必需的信息,如下: 认证信息:标示执行者是谁的信息,用来确认执行者的合法性,如不合法则拒绝执行。 鉴权信息:标示执行者所持有的权限

你还在贴发票吗?区块链带你玩点不一样的

▼魔方 西西 提交于 2020-04-11 01:36:32
本文作者:HelloDeveloper 报销是不是你每个月最头疼的事情?除了贴一大堆票之外,还要等财务人员一张张审核、录入系统、统一打款。如果有差错,还会告诉你所有一切重新来过。 如果你是财务人员,那么恭喜你。因为你可能会成为焦点所在,公司所有人都在等你的消息,等你审核,等你打款。 好消息是,随着电子发票的落地,实现了一次跨越性的进展,对普通消费者和企业来说,开票更迅速,还能重复下载、永久存储。节约成本的同时提高了办事效率。对政府部门来说,信息化程度升级,提高了政务服务的水平。 如此看来,电子发票似乎有百利而无一害。不过,有了区块链加持之后,电子发票会出现新的特性,更加便利和安全,让“贴发票”这件事永久成为过去,让“开票即报销”成为可能。 电子发票推广究竟有何障碍 ◆ ◆ ◆ 电子发票虽然好处多多,但同任何一个新生事物一样,在推广的过程中总会遇到一些阻碍,存在着勘验环节繁琐、入账环节不可控、打印成本转移给消费者等痛点,直接影响了电子发票的普及。 举个例子,目前大部分财务报销过程仍要求纸质发票,要想完成报销还得将电子发票打印出来。而对于财务人员来说,由于电子发票可以无限次重复打印或复印,辨别真伪又要花费大量时间和成本。 区块链的出现,为解决电子发票的难题提供了一条路径。通过搭建一个财税业务联盟链,个人、企业、税务机关,甚至于审计所和银行等众多参与者都可以被纳入到一个公共管理系统中

略谈分布式系统中的容器设计模式

人走茶凉 提交于 2020-04-10 03:27:30
本文作者:zytan_cocoa 略谈分布式系统中的容器设计模式 谭中意 2020/3/5 前言 :云原生(Cloud Native)不仅仅是趋势,更是现在进行时,它是构建现代的,可弹性伸缩的,快速迭代的计算网络服务的事实标准。其中容器编排系统Kubernetes和容器是基石。所以每个工程师都需要学习和了解他们。学习过程中,很多工程师可能会问: 为什么Pod而不是容器是K8S部署的最小单位 ? 基于K8S设计分布式系统有没有什么套路 ?本文针对这些问题,并参考K8S创始人的很多文档,给出了解答。本文适合进行研发工作2到3年的同学,对架构设计比较感兴趣,有一定架构设计意识,同时对容器(Docker)和容器编排系统(kubernetes)有一定了解。希望可以通过此文,让同学们更深入的了解到分布式容器系统中的几种常见模式,以便以后更好的设计和实现云原生的分布式系统。 先从一篇论文说起 : 首先介绍一篇论文,标题是《Design patterns for container-based distributed systems》,作者是Brendan Burns和David Oppenheimer,论文发表于2016年,是原原生领域系统设计的代表作。 第一作者Brenda Burns,相信熟悉云原生领域的同学都认识他,他之前是Google的工程师,是Kubernetes的三位创始人之一

超前一年来设计你的官方网站

大城市里の小女人 提交于 2020-04-10 03:13:44
本文作者:cloudmarket 对于企业来说,企业的官方网站建设,是品牌宣传的重中之重。但是,往往很多企业在进行官方网站建设时,都没有前瞻性的思维,导致网站建设完成后不久,网站就已经过时。那如何才能做一款不过时的企业官方网站呢? 一、创意设计超前一年 一个网站的漂亮与否,直接关系到企业官方网站是否已经过时。不少企业在设计官方网站的时候,因为这些那些的原因,对网站的创意设计得过且过,那是非常不负责任的。我们发现很多客户说:“你们的设计的确非常美观具有创意,但是我们同行目前都没这样的,太多超前了,我们就暂时不要这么设计吧。”快建美站必定会回复每一位客户:“你的企业官方网站建设后,不是用一年二年的,很多企业可能五年内都不一定会改版,如果在制作的时候不以超前的思维去创意设计,那网站很快就要被淘汰了。” 二、前端代码超前一年 前几年,如果说要进行企业官方网站建设,很多企业都还停留在电脑端的网站思维上。但是,近一二年来,由于移动互联网的突飞猛进,更多的企业知晓了,不但要做好电脑端的企业官网,更要重视手机端的企业官网。如果当初在进行企业官方网站建设时,就考虑到了电脑端和移动端的适配问题,那你的企业官网就不会被移动互联网时代淘汰。 三、功能技术超前一年 大家都知道,AI技术现在非常热门,但是目前还不被更多的企业官方网站所运用。AI语音合成能帮助客户语音播报网页内的相关文章内容

[GIT实践]git实践系列之-- refs/for/branch和refs/head/branch

末鹿安然 提交于 2020-04-09 08:50:44
本文作者:francisk84 git的诞生历史 -- 摘选自《Pro git》 Linux 内核开源项目有着为数众多的参与者。 绝大多数的 Linux 内核维护工作都花在了提交补丁和保存归档的繁琐事务上(1991-2002年间)。 到 2002 年,整个项目组开始启用一个专有的分布式版本控制系统 BitKeeper 来管理和维护代码。 到了 2005 年,开发 BitKeeper 的商业公司同 Linux 内核开源社区的合作关系结束,他们收回了 Linux 内核社区免费使用 BitKeeper 的权力。 这就迫使 Linux 开源社区(特别是 Linux 的缔造者 Linus Torvalds)基于使用 BitKeeper 时的经验教训,开发出自己的版本系统。 他们对新的系统制订了若干目标: 1. 速度 2. 简单的设计 3. 对非线性开发模式的强力支持(允许成千上万个并行开发的分支) 4. 完全分布式 5. 有能力高效管理类似 Linux 内核一样的超大规模项目(速度和数据量) git push时的refs/for/[branch_name]和refs/head/[branch_name] 谈到git push时的refs/for/[branch_name]指令,其实它是 Gerrit 工具的一种机制。简单的说,Gerrit为了保证每次代码提交都强制开启代码评审

略谈分布式系统中的容器设计模式

我的未来我决定 提交于 2020-04-09 03:57:50
本文作者:zytan_cocoa 略谈分布式系统中的容器设计模式 谭中意 2020/3/5 前言 :云原生(Cloud Native)不仅仅是趋势,更是现在进行时,它是构建现代的,可弹性伸缩的,快速迭代的计算网络服务的事实标准。其中容器编排系统Kubernetes和容器是基石。所以每个工程师都需要学习和了解他们。学习过程中,很多工程师可能会问: 为什么Pod而不是容器是K8S部署的最小单位 ? 基于K8S设计分布式系统有没有什么套路 ?本文针对这些问题,并参考K8S创始人的很多文档,给出了解答。本文适合进行研发工作2到3年的同学,对架构设计比较感兴趣,有一定架构设计意识,同时对容器(Docker)和容器编排系统(kubernetes)有一定了解。希望可以通过此文,让同学们更深入的了解到分布式容器系统中的几种常见模式,以便以后更好的设计和实现云原生的分布式系统。 先从一篇论文说起 : 首先介绍一篇论文,标题是《Design patterns for container-based distributed systems》,作者是Brendan Burns和David Oppenheimer,论文发表于2016年,是原原生领域系统设计的代表作。 第一作者Brenda Burns,相信熟悉云原生领域的同学都认识他,他之前是Google的工程师,是Kubernetes的三位创始人之一

差异化备份/恢复

我与影子孤独终老i 提交于 2020-04-08 10:42:45
企业现在的数据保护真的可控吗? 物理环境、虚拟化和云环境混合架构是否让您在越来越复杂的IT架构中,系统自动化,我们不得不放弃数据的主动控制权,不得不在数据的使用安全问题,数据保护方面做出妥协和让步?真的不存在软件逻辑漏洞吗? 如果您能轻松拥有和国家重保单位一样级别的灾备能力,您会感兴趣吗? 是否愿意在保证现在架构不变的情况下,来增加企业异地容灾能力,来确保万无一失呢? UCACHE灾备云是一种能帮您轻松实现服务器灾难备份的云服务产品,能满足您要求的所有应用场景,满足公有云、虚拟环境、物理环境以及私有云和混合云状态下的数据级、应用级的定时备份、差异化备份、可选择性内容恢复的任务。 以下以服务器文件系统差异化备份/差异化内容恢复定义 1.服务器文件系统数据备份/恢复 1.1服务器文件完整备份 将选定的文件数据源完全备份到指定UCACHE灾备云节点中。每次后台备份任务执行时,它不会根据最新的变动,也就数据的变化前后比较后进行备份,而是直接将所有的文件数据备份到UCACHE灾备云的备份介质中并产生一个时间戳,用于记录标记该次备份的内容。 1.2服务器文件差异化备份 UCACHE灾备云基于上一次完整备份可以是完全也可以是增量的方式,将新增的数据备份到UCACHE灾备云的备份介质中同时产生相应的时间戳。在尚未进行完全备份的情况下进行差异化备份时会自动转会为完整备份。 1

第四届中国云计算大会技术分享摘录

邮差的信 提交于 2020-04-08 07:17:03
架构方面有不少好文章,收录如下: 腾讯公司数据平台高级架构师 郭玮:TDW在Hadoop上的实践分享 圆桌论坛:CloudStack和Hadoop技术演进趋势 AMD产品管理副总裁Anil Rao:未来的云计算服务器 京东商城技术副总裁兼首席科学家何刚:云计算平台发展的挑战 微软中国云计算高级总监梁戈碧:云,就在我们的身边 新浪云计算首席架构师丛磊:SAE核心安全架构 阿里集团高级研究员、核心系统负责人章文嵩:服务器定制与绿色计算 Cloudera创始人兼CTO Amr Awadallah:Hadoop的前世今生 杭州安恒信息技术有限公司刘志乐:浅析数据中心的应用安全 Cloudera创始人兼CTO Amr Awadallah:Hadoop的前世今生 圆桌论坛:北美云计算趋势探讨 云络网络科技联合创始人兼CEO Steve Mushero:如何构建云计算 杭州安恒信息技术有限公司刘志乐:浅析数据中心的应用安全 圆桌论坛:云计算与创新教育 中加层云基金会创始合伙人Richard Reiner:云计算投资新模式 北京师范大学教育技术学院院长余胜泉:云时代的泛在学习 北京丰牵云启信息技术有限公司CEO邓侃:云存储系统设计 阿里集团高级研究员、核心系统负责人章文嵩:服务器定制与绿色计算 北京时代计世资讯马红静:中国医卫行业云计算市场展望 祝智廷:云技术对中国教育信息化的机遇与挑战