云计算

Kafka是啥？## 是个消息中间件吗？那和市面上其他一堆堆的中间件例如ActiveMQ, RabbitMQ有什么区别？ 答案只有一个： Kafka是个集群的消息中间件+存储，一个节点可以存储几T的数据！ 为啥一个中间件需要存储数据呢？ 慢慢道来…… 原来，对于Linkin这样的互联网企业来说，用户和网站上产生的 数据有三种 ： 需要实时响应的交易数据，用户提交一个表单，输入一段内容，这种数据最后是存放在关系数据库(Oracle, MySQL)中的，有些需要事务支持。 活动流数据，准实时的，例如页面访问量、用户行为、搜索情况，这些数据可以产生啥？广播、排序、个性化推荐、运营监控等。这种数据一般是前端服务器先写文件，然后通过批量的方式把文件倒到Hadoop这种大数据分析器里面慢慢整。 各个层面程序产生的日志，例如httpd的日志、tomcat的日志、其他各种程序产生的日志。码农专用，这种数据一个是用来监控报警，还有就是用来做分析。 Linkin的牛逼之处，就在于他们发现了原先2,3的数据处理方式有问题，对于2而言，原来动辄一两个钟头批处理一次的方式已经不行了，用户在一次购买完之后最好马上就能看到相关的推荐。而对于3而言，传统的syslog模式等也不好用，而且很多情况下2和3用的是同一批数据，只是数据消费者不一样。 这2种数据的特点是： 准实时，不需要秒级响应，分钟级别即可。

本文作者：zytan_cocoa 略谈分布式系统中的容器设计模式 谭中意 2020/3/5 前言 ：云原生（Cloud Native）不仅仅是趋势，更是现在进行时，它是构建现代的，可弹性伸缩的，快速迭代的计算网络服务的事实标准。其中容器编排系统Kubernetes和容器是基石。所以每个工程师都需要学习和了解他们。学习过程中，很多工程师可能会问： 为什么Pod而不是容器是K8S部署的最小单位 ？ 基于K8S设计分布式系统有没有什么套路 ？本文针对这些问题，并参考K8S创始人的很多文档，给出了解答。本文适合进行研发工作2到3年的同学，对架构设计比较感兴趣，有一定架构设计意识，同时对容器（Docker）和容器编排系统（kubernetes）有一定了解。希望可以通过此文，让同学们更深入的了解到分布式容器系统中的几种常见模式，以便以后更好的设计和实现云原生的分布式系统。 先从一篇论文说起 ： 首先介绍一篇论文，标题是《Design patterns for container-based distributed systems》，作者是Brendan Burns和David Oppenheimer，论文发表于2016年，是原原生领域系统设计的代表作。 第一作者Brenda Burns，相信熟悉云原生领域的同学都认识他，他之前是Google的工程师，是Kubernetes的三位创始人之一

本文作者：HelloDeveloper Chapter: 新建一个项目 在这个章节里，我们来看如何新建一个项目，首先介绍一下百度效率云的权限模型: 1-1 效率云的权限模型 如图所示，百度效率云主要分为三大类角色： 管理员类角色： 分别是企业负责人和企业管理员，作为企业负责人，可以将一名效率云企业用户设置为企业管理员；也可以添加/删除企业成员；注: 作为企业管理员，只有拥有百度云系统管理员权限后，才能像企业负责人一样添加/删除人员；同时企业管理员和企业负责人自动拥有企业内所有项目的管理员权限；管理员类角色可以看到企业内的所有项目，并且能新建项目。 项目内成员: 一名效率云企业成员，只有被添加到具体项目中，才能够操作效率云的各类组件；项目内共有三类权限，分别是管理员—可以对项目开通的组件，代码库设置，人员配置，项目基本信息做修改。项目管理员自动拥有项目的读写权限；读写权限—可以对项目内的各个组件进行读写操作，项目的实际参与者一般应当设置为读写权限；只读权限—只能浏览项目内的卡片，代码，制品，流水线信息，但是无法编辑或新建。项目内成员登录效率云后只能看到自己参与的项目, 项目内成员可以新建项目。 无权限人员: 当一名效率云企业未被加入任何项目的时候，他将只能新建项目，项目的创建者自动成为这个项目的管理员，拥有管理员权限 效率云项目中的各组件暂时没有独立的权限模型

六周玩转云原生 为了让开发者们在这个特殊的时期里可以学习到更多干货，京东智联云开发者特别策划了 《六周玩转云原生》系列课程 ，让我们的开发者可以迅速入门，持续充电。 监控和日志是大型分布式系统的重要基础设施： 监控可以帮助开发者查看系统的运行状态，而日志可以协助问题的排查和诊断 。 云原生应用具有分布与动态的特性，而所有此类应用通常都会用到容器和无服务器函数等临时技术来予以部署。在管理这些云原生应用的时候，能够在任何给定的时间内提供端到端的可视性就显得尤为重要。与此同时，由于云原生系统具有海量的数据流和抽象的复杂性，因此我们必须建立强大的监控和日志记录，以管控各种不可预知的中断或宕机。 没有监控，就无法知晓服务的运行情况，也没有办法知道集群中有没有Down机、机器的CPU使用率和负载是否正常、网站的Traffic是否正常、服务的出错率是不是在可容忍范围内。而日志则详尽记录着系统运行情况，每一次Service的调用，每一次数据库的访问，都应该写进日志，特别是当系统出现问题时。 常用监控方案 在开源社区中，最常用的监控方案就是Prometheus，甚至成为了开源社区的监控标准。 首先，Prometheus是CNCF云原生社区的一个毕业项目，有越来越多的开源项目都以Prometheus为监控标准，类似我们常见的Spark、Tensorflow、Flink项目

作者：苏楠 前言 在国家政策大力推动信息安全战略的背景下，从早期的去IOE，到当下倡导的自主创新、安全可信，越来越多的企业开始逐步向国产化IT转型，承载所有IT基础设施的云平台是其中重要的一环。由于历史的原因，不少企业的IT中仍保留着VMware的环境，这就导致这些企业无法及时响应政策的号召，而且软件本身也会面临升级等问题。 对于上述的问题，ZStack1.8版本中支持了vCenter的纳管，并不断丰富运维、租户、运营等方面的能力。从纳管到迁移几乎是顺其自然的一串需求，迁移中客户主要面临两个困难，一是部分业务连续不中断或者尽量降低中断时间，再则免费工具的复杂程度以及兼容性所存在的问题，导致客户不得不够买一些第三方的迁移服务。这就使得属于ZStack云原生的迁移服务模块, 在ZStack3.0版本中应运而生。 在ZStack接管VMware的基础上，迁移服务轻松帮助用户将vCenter上的云主机迁移至ZStack平台，过程全UI界面操作，IP级细粒度属性自定义，已支持主流Windows、Linux系统的云主机的迁移。 ZStack V2V 介绍 ZStack中有一个高级模块叫迁移服务，可将不同平台的云主机系统及数据完整迁移至当前云平台。迁移服务除了可以将VMware的虚拟机迁移到ZStack，在3.6.0的版本中也支持将任何基于KVM的平台（源平台包括ZStack）迁移到ZStack

IDC彭帅 人为误操作、误删除、中病毒、硬件和软件故障、系统故障、存储损坏等因素造成的服务器数据丢失是家常便饭;如果碰到运营商服务故障、跑路甚至自然灾害包括地震\火灾\洪涝等不可抗力因素，带来的经济损失信誉损失等都不是能简单用钱来衡量的。难道只能自认倒霉?靠天不如靠己，有备则无患，最好的方法就是选择一个安全、实用、经济的灾备服务。 UCACHE灾备云是一种能帮您轻松实现服务器定时备份的云服务，他能满足您要求的所有应用场景，满足公有云、虚拟环境、物理环境以及私有云和混合云状态下的所有数据定时备份、恢复的任务，目前UCache云灾备100G免费使用，数据压缩、重删比例：可达到7：1，实际700G的数据意思是经过加密切块压缩，及并行重删备份后实际在UCache灾备云平台上显示的占用容易仅为100G。 UCache灾备云SaaS优势 基础设施单位个体投入减小，TCO更低 按需扩容、按使用计费 具有高度的灵活性 快速迭代的复制与恢复技术 企业迁移成本低 企业级云灾备安全特性 帮助企业管理规范化运营 时实高效、操作简单 来源： 51CTO 作者： UCache灾备云 链接： https://blog.51cto.com/14779917/2484233

(IDC彭帅) 什么是？备份异地容灾的内容是什么？异地容灾对企业应用及数据库起到了安全性、业务连续性等方面的作用，因此他与私有云或者公共云起到的容灾结果是完全不同的。 大数据时代，的异地容灾变得非常重要。备份的数据往往会因为各种因素而遭到毁坏，如地震、火灾、丢失等。异地容灾解决方案的出现则可通过在不同地点建立备份系统，从而进一步提高数据抵抗各种可能安全因素的容灾能力。 随着信息技术的发展，特别是信息化程度的深入发展，企业的数据以指数方式增长，大量的数据在带给企业财富的同时，数据丢失带来的损失也越来越大，在信息化程度较高的地区，部份公司内部的数据备份方案得到实施，然而这只是解决了公司数据安全的一部分，并没有解决公司数据在本地的一些威胁，异地备份都是解决数据安全的重要部分。 UCACHE企业级灾备云服务是面向企业和组织机构团体的，利用云的特性来解决信息化异地备份/恢复、灾备、灾难恢复的云端服务，可提供面向云端、虚拟和物理环境下的数据、平台、应用备份/恢复的云服务平台，满足企业当前和未来的数据管理需要。在我们的未来，互联网、移动互联网、物联网、工业互联网行业将迎来迅猛发展，作为数据安全最后一道防线，灾备技术具有巨大的应用前景。当前，企业的每一个业务系统所关心的最主要问题就是业务如何连续运转的问题，这其中，既有业务模式方面的，也有系统支撑方面的，每一个用户或服务商都需要考虑数据的重要级别

近日，国际知名调研机构 Gartner 发布 2020 年容器公有云竞争格局报告，阿里云再度成为国内唯一入选厂商。Gartner 报告显示，阿里云容器服务在中国市场表现强劲，产品形态丰富，在如 Serverless 容器、服务网格、安全沙箱容器、混合云和边缘等领域，具备良好的技术发展策略。 2020 年 3 月，Gartner 第二次公开《竞争格局：公共云容器服务》年度调研报告，报告针对 Serverless Kubernetes、服务网格、容器镜像等十项功能维度进行对比，阿里云和 AWS 覆盖九项产品能力，产品丰富度领先 Google、微软、IBM 和 Oracle 四家厂商。 阿里云连续两年入选 Gartner 容器报告，一方面是因为阿里云拥有全球第三的市场份额，另一方面是因为其已经拥有近十年的容器技术储备。 目前，阿里云容器服务（ACK）已在中国及海外 19 个公有云可用区开服，同时也支持客户在自有机房和边缘端的部署使用 Kubernetes。同时，阿里云还提供了丰富的差异化产品：兼容 Istio 的托管版服务网格、基于弹性容器实例的无服务器 Kubernetes（ASK）、提供镜像扫描的独享版容器镜像服务 （ACR）、基于轻量虚拟机技术的安全沙箱容器运行时和托管服务网格（ASM）等等。在此前的 Forrester 公共云容器服务评测中，阿里云作为 Strong

本文作者：天工智能物联网 中国物联网产业正在被赋予更强的智能化能力，更多行业将在这一浪潮中受益。5月30日，在2019ABC INSPIRE智能物联网峰会上，百度智能云宣布其天工物联网平台全新升级，同时在边云融合、时空洞察和数据智能等三大领域一口气发布了9大新产品。此外，百度智能云还宣布了多项建设IoT生态新措施。物联网行业在这些新产品新能力的加持下，将能够在物流、出行、电力、汽车等行业的场景中突破边界，创造出更多新价值。 百度副总裁、百度智能云总经理尹世明 “产业智能化时代即将全面来临，ABC技术融合成为行业趋势。”百度副总裁、百度智能云总经理尹世明表示，以“ABC+X”为核心的数字化、智能化新型体系架构将会成为新一代的企业架构。百度智能云致力于为企业提供更全面、更易用的智能化能力，ABC融合新技术在物联网全面发生，ABC+IoT+Edge computing+5G将创造无限可能。 百度智能云副总经理管瑞峰 时至今日，全球已经有将近100亿台设备完成了物联网接入。那么物联网的未来趋势是什么？百度智能云副总经理管瑞峰认为，新一代智能物联网平台将向三个方向突破：第一向边界突破，形成边云融合；第二在时间和空间的维度上寻求突破；第三是利用数据智能对场景突破。边云融合、时空洞察和数据智能，将成为下一代智能物联网平台的核心要素。 百度智能云天工物联网平台全新升级 未来趋势已然明晰

9月25-27日，全球数字经济风向标——杭州云栖大会隆重开幕。在第三天的智能视频云分论坛上，阿里云研究员金戈进行《视频云新“三网一云”，驱动行业应用创新》主题演讲，并首次对外发布视频云V5计划。 金戈表示，新“三网一云”是视频云基于飞天十年的技术沉淀和过去三年视频领域的深耕，将领先的视频和网络技术、阿里云达摩院的AI技术与阿里巴巴商业场景实践深度融合，锻造出的一个智能、融合、高效、经济、稳定可靠的视频IT基础设施服务平台。 “三网”是指直播网、点播网和音视频通信网。在大视频领域，基于短延时、云导播、超高清、窄带高清转码、超分、弱网优化、智能降噪等创新技术的融合应用，让合作伙伴能够一站式获得灵活、易用、优异的音视频技术服务，快速实现场景化解决方案输出。“一云”是指围绕云端媒体资源汇聚、存储、制作、分发、播放的视频全生命周期，注入深度学习与人工智能技术，为SaaS应用提供经济可靠、性能优异的云计算基础设施和算法引擎。 当谈到阿里云视频云新“三网一云”的应用时，金戈表示，阿里云视频云已为全球30余万客户提供服务。在阿里巴巴经济体生态内，阿里云视频云帮助淘宝的千万级高并发直播进入毫秒时代，端到端延迟降低85%、卡顿率下降20%，全面提升淘宝直播用户的购买转化率；为钉钉提供实时的智能音视频能力，连接全球2亿企业用户，推动移动办公应用进入高可用、高性能、实时无缝的云模式。除此之外