PaaS

支付宝资深技术专家尹博学:新一代金融核心突破之全分布式单元化技术架构

非 Y 不嫁゛ 提交于 2020-11-27 04:29:28
过去几年是云原生理念高速普及的黄金时期。微服务、容器、无服务器架构、服务网格等新技术的出现,在技术社区中激起了一浪又一浪的创新热潮。然而由于金融行业对性能和安全的严苛要求,云原生技术在企业实际场景中的实施落地,特别是在金融场景的实施落地,仍然面临诸多挑战。 本文整理自2020阿里云线上峰会蚂蚁集团资深技术专家尹博学的主题演讲,为大家分享蚂蚁关于金融级IT架构及分布式架构的思考和应用实践。关注本公众号,蚂蚁SOFAStack白皮书即将发布,不要错过哦~ 以下为演讲整理全文: 大家好,我是蚂蚁集团的尹博学,今天和大家分享一下蚂蚁关于金融级IT架构及分布式架构的一些思考和应用案例,主要包含三个部分,分别是行业常见的分布式架构介绍、蚂蚁单元化架构的介绍以及单元化架构的应用案例。 行业常见分布式架构 行业常见的分布式架构主要包含,单活架构、双活架构和冷备架构。从容灾能力角度来看,双活架构和冷备架构均能做到应用级跨机房容灾,但是数据库因为使用了异步复制的技术,无法做到机房级RPO=0的容灾。再看灰度发布的能力,冷备架构和双活架构都只能做到机房级灰度发布,无法做到更细粒度的灰度发布。 蚂蚁集团单元化架构介绍 在介绍完行业常见的分布式架构后,我们来看一下蚂蚁的分布式架构发展历程,和单元化架构的详细介绍。 这是蚂蚁分布式架构发展历程。蚂蚁也经历了 单活 、 同城双活 、 两地三中心 三个阶段

【2022GET】即构科技蒋宁波:教育行业客户需求的核心是什么?

烈酒焚心 提交于 2020-11-26 18:20:07
11月24日,由即构科技主办的2020GET大会教育科技分论坛在北京成功召开,来自叮咚课堂、小冰、360OS、蕃茄田艺术、即构科技的6位资深教育/科技大咖,在论坛上进行深度分享。 以下为即构科技联合创始人蒋宁波带来的主题为《服务思维推动技术在教育行业的应用与延展》的演讲,我们整理了分享的核心内容,错过活动的小伙伴可以继续回看学习。 扫描下方二维码,获取演讲PPT 在大会上,蒋宁波分享了即构在服务众多在线教育客户后,积累的宝贵经验。他认为:教育行业客户需求的核心是,基于服务思维的技术、产品和整体的交付能力;即构将通过持续的探索、总结和积累行业经验,更好的服务教育客户和用户。 一、教育在线化的本质 教育在线化的本质有三点: 构建了新的教学场景 在线下教学场景中,师生之间是共同在一个空间里完成互动交流和信息同步的。但是转到了线上后,师生们在课堂上的教学活动,转为用语音、视频的传输方式进行。 对技术运用提出了新的要求 线下教学中有一些场景,比如老师叫了几个学生同时上黑板答题,这个场景搬到线上如果用传统的技术是比较难实现的,这时候就对新技术提出了更高的要求,需要适应这种多人同时互动、板书、以及作业批改、演示等场景。 更易于个性化教育的开展 线上教学过程中的各个环节数据很容易被记录下来,比如某位同学的举手次数、答题次数、甚至包括一些AI数据的分析;对于个性化教育或因材施教的开展有很大的帮助。

Kubernetes vs OpenStack

独自空忆成欢 提交于 2020-11-25 18:52:20
前言 最近2年相信大家都听过kubernetes这种新容器编排工具,越来越多的公司也去学习相关技术,并运用它去解决公司的问题,它在开源社区也是非常火,大小不断的k8smeeting以及容器相关的会议。这火爆程度和在2011年到2016年之间非常火的Openstack非常相似,不论是社区还是公司都是积极的去推动。笔者处在互联网之中,也接触学习过这两套系统,对他们相关技术也是非常的热爱,也在慢慢的根据不同应用场景在公司去推动相关业务转型,如相关服务的容器化技术转型等等,我就在这表达一下自己的一些看法与意见。加深理解大家对openstack 和kubernetes相关体系的理解与学习。 趋势 先简单说下目前的趋势,目前来看Openstack整个项目趋向于稳定,活跃程度相比之前有所下滑,从整个发版速度来看,由原来的半年一个relase转为一年一个relase, 团队的整个核心也将更多精力放在关于系统的可用性和稳定性优化,不过这并不是说他已经过时了,他是经过了上万台服务器的检验,是一个非常好的云操作系统,还是有拥有大量的用户和热爱者,如ebuy, 沃尔玛,京东,美团以及相关的私有云企业服务。 而kubernetes则是业界的新宠,可以用如日中天来形容,首先是Google自家对它的大力支持,包括前段时间Google Cloud捐赠给kubernetes社区800万美元的捐赠就能看出重视程度

Openshift与Kubernetes优缺点对比

强颜欢笑 提交于 2020-11-25 00:54:02
Openshift首个支持企业级 Java 的 PaaS 平台,支持 JEE6 与 JBoss 和其 Eclipse 集成开发环境以及 Maven 和 Jenkins 自动化。使用 OpenShift 的人数及社区人数在不断增长。OpenShift基于Kubernetes,增加哪儿些功能?有什么区别? Openshift 的 Web console Openshift的web console采用node.js 与angularJS开发,支持实时推送,如下示例 集成容器管理与ImageStream OpenShift Container Registry 自动管理镜像的版本,ImageStream包含所有镜像的原数据,但ImageStream不包含Image数据。 使用Image Stream的目的是方便地将一组相关联的镜像进行整合管理和使用。 Openshift默认为用户定义了一系列开箱即用的Image Stream。 查看Image Stream对象 oc get is -n openshift Native CI/CD factory 原生支持Pipeline的Build实现CI/CD过程 Jenkins Plugin能直接触发openshift的构建和部署过程, 同时最吸引的特点是: 支持流水线Pipeline这种模式,便于在同一集群的多个项目(对应开发,测试,生产

Openshift与Kubernetes优缺点对比

杀马特。学长 韩版系。学妹 提交于 2020-11-24 10:21:51
Openshift首个支持企业级 Java 的 PaaS 平台,支持 JEE6 与 JBoss 和其 Eclipse 集成开发环境以及 Maven 和 Jenkins 自动化。使用 OpenShift 的人数及社区人数在不断增长。OpenShift基于Kubernetes,增加哪儿些功能?有什么区别? Openshift 的 Web console Openshift的web console采用node.js 与angularJS开发,支持实时推送,如下示例 集成容器管理与ImageStream OpenShift Container Registry 自动管理镜像的版本,ImageStream包含所有镜像的原数据,但ImageStream不包含Image数据。 使用Image Stream的目的是方便地将一组相关联的镜像进行整合管理和使用。 Openshift默认为用户定义了一系列开箱即用的Image Stream。 查看Image Stream对象 oc get is -n openshift Native CI/CD factory 原生支持Pipeline的Build实现CI/CD过程 Jenkins Plugin能直接触发openshift的构建和部署过程, 同时最吸引的特点是: 支持流水线Pipeline这种模式,便于在同一集群的多个项目(对应开发,测试,生产

直击痛点,详解 K8s 日志采集最佳实践

醉酒当歌 提交于 2020-11-23 06:26:15
Kubernetes 日志采集难点 在 Kubernetes 中,日志采集相比传统虚拟机、物理机方式要复杂很多,最根本的原因是 Kubernetes 把底层异常屏蔽,提供更加细粒度的资源调度,向上提供稳定、动态的环境。因此日志采集面对的是更加丰富、动态的环境,需要考虑的点也更加的多。 例如: 对于运行时间很短的 Job 类应用,从启动到停止只有几秒的时间,如何保证日志采集的实时性能够跟上而且数据不丢? K8s 一般推荐使用大规格节点,每个节点可以运行 10-100+ 的容器,如何在资源消耗尽可能低的情况下采集 100+ 的容器? 在 K8s 中,应用都以 yaml 的方式部署,而日志采集还是以手工的配置文件形式为主,如何能够让日志采集以 K8s 的方式进行部署? Kubernetes 传统方式 日志种类 文件、stdout、宿主机文件、journal 文件、journal 日志源 业务容器、系统组件、宿主机 业务、宿主机 采集方式 Agent(Sidecar、DaemonSet)、直写(DockerEngine、业务) Agent、直写 单机应用数 10-100 1-10 应用动态性 高 低 节点动态性 高 低 采集部署方式 手动、Yaml 手动、自定义 采集方式:主动 or 被动 日志的采集方式分为被动采集和主动推送两种,在 K8s 中,被动采集一般分为 Sidecar 和

公有云

北城余情 提交于 2020-11-22 17:28:15
一、云计算 1. 定义: 云计算是一种按使用量付费的模型,用户可以随时随地、便捷地、按需地从可配置的计算资源共享池中获取所需的计算资源(网络、服务器、存储、应用程序等服务),这些资源可以快速供给和释放,用户只需投入较少的管理工作。 让用户像使用水和电一样便捷地使用计算资源。 2. 分类 公有云:云计算运营商拥有超大规模基础设施,对外提供云服务。 私有云 :企业自己拥有云数据中心。 混合云: 企业建立自己的私有云,同时使用公有云的资源。 专有云 :在数据中心中用独立的物理资源为企业建立专用的云平台,并提供运营和运维增值服务。 3. 服务模型 (1)SaaS (软件即服务):通过网络使用提供商的应用软件、数据。 基本功能: 随时随地访问 :不论什么时候,不论什么地点,只要接上网络,用户就能访问该 SaaS 服务。 支持公开协议 :通过支持公开协议 (html4/5 ),可以方便用户使用。 安全保障 :SaaS 供应商须要提供一定的安全机制,不仅要使存储在云端的用户数据处于绝对安全的境界,也要在 client 实施一定的安全机制(如 https )来保护用户。 多用户 (Multi-Tenant) 机制 : 通过多用户机制,不仅能更经济地支持庞大的用户规模,还能提供一定的可满足用户的特殊需求。 主要 产品 : salesforce sales cloud、Google Apps

浅谈高可用测试

守給你的承諾、 提交于 2020-11-22 15:29:50
前言 现今的互联网产品越来越注重可靠性,尤其是在生产环境中使用的系统,对高可用性都有一定的要求。而作为产品的提供方,在交付产品之前,也会对高可用进行验收测试。近期跟进过两个产品曾有高可用测试的需求,在此简单的总结分享下。 在介绍产品之前,先简单的介绍下高可用和高可用测试: 高可用:指的是系统如何保证比较高的服务可用率。在系统的某个部分因为各种原因而失效时,能保证系统整体的服务正常运行。 高可用测试:通过模拟系统出现异常的情况,验证系统是否能正常提供服务(或降级提供服务),并验证系统在异常恢复后,能否恢复至异常出现之前的运行状态。 产品A:云计算PAAS层组件 产品A为云计算的PAAS层组件,各服务部署在云主机以及物理机上,大致架构如下: 从产品架构来看,对A产品做高可用测试,需要分别确保LVS集群和Tengine集群的高可用。因此,需要根据LVS集群和Tengine集群的原理以及运行特性,分别制定高可用测试方案 LVS运行物理机上,OSPF协议实现多节点互备,因此设计高可用测试方案如下: 从网络方面验证高可用,配置iptables规则实现端口丢包,模拟网络不可用的情况 在进程方面验证高可用,分别使用stop、kill -9、kill -19模拟进程停止、崩溃、假死时的情况 在机器方面验证高可用,通过关机、重启模拟物理机宕机时的情况 Tengine运行在云主机上

华为云全球首发容器多云和混合云解决方案,实现容器应用轻松跨云

两盒软妹~` 提交于 2020-11-22 06:55:03
3月22日,在华为中国生态伙伴大会上,华为云全球首发商用级容器多云和混合云解决方案,为用户提供容器集群及云原生应用的跨云管理能力,解决云服务平台供应商锁定和单云场景的低可靠风险,让用户的选择更加灵活,云原生业务更加稳定可靠。 ​ 华为云BU PaaS产品部总经理廖振钦现场发布MCP 现场通过模拟网上购物过程中,某云上集群宕机的场景,完整的演示了从用户体验到服务异常检测、后台应用服务自动迁移的完整过程,让用户直观感受到,基于华为多云管理平台(MCP)即可快速实现业务的跨云容灾。现场听众纷纷表示这是在跨云容灾方案上面向前迈进的一大步,将直接影响日后云服务方案及供应商的选择。 那么,除了在现场演示的容灾场景,容器多云&混合云解决方案能为客户带来哪些好处呢,接下来我们逐一为大家解析。 跨云应用 自动容灾 为了应对云单点宕机故障,华为容器多云&混合云解决方案MCP提供多云多活应用、秒级流量接管能力,提升业务可靠性。正如发布现场所演示的,业务应用可以多云多活的部署在不同云上的容器服务,当云单点宕机故障发生时,容器多云&混合云平台可以秒级自动完成应用实例的弹性迁移以及流量的切换,业务的可靠性大大提升;同时相较于传统的多云/混合云方案,容器技术的秒级弹性能力,使得用户不再需要为了容灾而长期维护冗余资源,节约了基础资源的建设成本和运维成本。 峰值流量智能分担 为了应对业务高峰流量冲击, 华为容器多云

6岁!是时候重新认识下Serverless了

久未见 提交于 2020-11-21 00:29:08
一、背景 Serverless 概念从2012年开始提出,真正推出相关云产品是2014年AWS推出Lambda。如果我们将 Serverless 比作一个婴儿,那么它已经6岁了。 虽然业界对Serverless尚无一致认可的定义,但是我相信大部分开发者在听到 Serverless时,会联想到Lambda,并且冒出“函数”、“按需(调用次数)收费”、“事件驱动”等关键词。确实当年刚刚诞生的Serverless就像下面可爱的“紫薯人”,紫色充满神秘感(当年刚推出的时候绝对是黑科技),让人印象深刻。 AWS的巨大影响力以及本身携带的一身黑科技,确实让人记住了 Serverless,但是也正因为诞生的时候太印象深刻,以至于现在提到已经6岁的 Serverless,很多人的印象还是停留在Serverless=Lambda或者Serverless=FC(Function Compute),这不得不说是某种遗憾。 今天企业都在全面数字化转型,整个技术架构体系都渴望依托云原生来获取巨大技术红利,Serverless从诞生的第一天起就是云原生的,所以我们有必要再系统的认识一下Serverless的理念以及这些年诞生的相关产品,相信不管你是前端、后端、架构师、SRE、CTO都会有所收获,并且在未来能更好的发挥Serverless的技术价值助力商业成功。 二、定义 业界一直在尝试定义Serverless