伏羲

0. 前言 作为阿里巴巴核心大数据底座，伏羲调度和分布式执行系统，支撑着阿里集团内部以及阿里云上大数据平台绝大部分的大数据计算需求，在其上运行的MaxCompute(ODPS) 以及PAI等多种计算引擎，每天为用户进行海量的数据运算。 在"阿里体量"的大数据生态中，伏羲系统管理着弹内外多个物理集群，超十万台物理机， 以及数百万的CPU/GPU cores。每天运行在伏羲分布式平台上的作业数已经超过千万, 是业界少有的，单天处理EB级别数据分布式平台。其中单个作业规模已经高达数十万计算节点，管理着数百亿的边连接。在过去的十年中，阿里集团以及阿里云上这样的作业数目和规模，锤炼了伏羲分布式平台；与此同时，今天平台上作业的日益多样化，以及向前再发展的需求，对于伏羲系统架构的进一步演化，也都带来了巨大挑战与机遇。本文主要介绍一下在过去的两年多时间中，阿里巴巴伏羲团队对于整个核心调度与分布式执行系统的升级换代，code name DAG 2.0。 1. 背景 1.1 伏羲 DAG/AM 组件 从较高的层面来看整个分布式系统的体系架构，物理集群之上运行的分布式系统，大概可以分成资源管理，作业分布式调度执行，与多个计算节点的运行这三个层次，如同下图所示。通常所说的DAG组件，指的是每个分布式作业的中心管理点，也就是application master (AM)。 AM之所以经常被称为DAG

导读 【6月新发布功能】 【6月新发布文档】 【6月精选技术文章】 【7月精选活动预告】 【6月新发布功能】 1. MaxCompute备份与恢复功能（公测）发布 MaxCompute备份与恢复功能提供持续备份用户修改/删除历史数据，支持快速恢复，持续保护数据安全。 适用客户 对数据保护有强需求客户/担心数据误删除的客户/担心数据被恶意删除的客户，适合广泛的企业级客户。 发布功能 MaxCompute提供数据备份与恢复功能，系统会自动备份数据的历史版本（例如被删除或修改前的数据）并保留一定时间，您可以对保留周期内的数据进行快速恢复，避免因误操作丢失数据。备份与恢复功能具备以下特点： 默认开启，不需要手动开通 -- 该功能不依赖外部存储，系统默认为所有MaxCompute项目开放的数据保留周期为1天，备份和存储免费。 自动持续备份 -- 系统自动对发生变更的数据进行备份，多次变更时将备份多个数据版本，相比固定周期性的备份策略，可以有效避免因误操作丢失数据。 恢复快速，操作简单 -- MaxCompute具备先进的元数据和多数据版本管理能力，备份和恢复操作不占用额外的计算资源，您可以通过命令快速恢复不同规模的数据。 查看文档 >> 2. MaxCompute通过DataWorks管控平台新建项目支持选择数据类型 适用客户 中国Region使用DataWorks管控台的客户 发布功能

作者 | 程序员小浩 来源 | 小浩算法 责编 | 王晓曼 头图 | 下载自东方IC 和姐姐们浪起来~ 嗯！这两天在看乘风破浪的姐姐（被逼）。好吧，其实我自己也看进去了。于是就有这样一个奇思妙想，如果把姐姐们比作计算机领域的技术 or 工具，会是怎么样？于是自己就 yy 了一番。 宁静：Oracle，宁静以致远，江湖地位犹在。在大型企业里，通常拥有庞大的资金能力，所以它们会选择用钱购买解决方案，而不是自己雇佣人员使用 MySQL 去维护。在姐姐中，每人都有一个采访视频。主持人问现在圈内艺人分为一线，二线和三线，你觉得自己是几线？这个问题很犀利，大多数人可能会谦虚一番，宁静直言：我一直是一线。将静姐比作 Oracle，当仁不让。 张雨绮：PHP，宇宙第一强无敌，舍我其谁。袁隆平曾经感慨：我这辈子最大的遗憾，就是让你们吃饱了撑着。于是，由于 PHP 入门门槛低，上手快，被吃瓜群众公认为语言界的 TOP1。而我们绮绮子，就更牛逼了，整个一个铁憨憨。 不过其实呢，绮绮子傻大姐，这次真的改变了我之前对其的印象（额，不对，我好像之前都没印象，毕竟我不咋看综艺）。虽说智商偶尔不在线，但她自己给自己创造一个世界，内心清晰而明朗。如同 PHP，内里乾坤，我自知。 万茜：Python，姐姐们的团宠。在一堆美女中，她像个帅气的男孩子，让每个姐姐感觉不到压力和竞争。不管你司是传统开发，大数据

本文作者 李超 阿里云智能 资深技术专家 编者按 伏羲（Fuxi）是十年前最初创立飞天平台时的三大服务之一（分布式存储 Pangu，分布式计算 MaxCompute，分布式调度 Fuxi），当时的设计初衷是为了解决大规模分布式资源的调度问题（本质上是多目标的最优匹配问题）。 随阿里经济体和阿里云丰富的业务需求（尤其是双十一）和磨练，伏羲的内涵不断扩大， 从单一的资源调度器（对标开源系统的YARN）扩展成大数据的核心调度服务，覆盖数据调度（Data Placement）、资源调度（Resouce Management）、计算调度（Application Manager）、和本地微（自治）调度（即正文中的单机调度）等多个领域， 并在每一个细分领域致力于打造超越业界主流的差异化能力。 过去十年来，伏羲在技术能力上每年都有一定的进展和突破（如2013年的5K，15年的Sortbenchmark世界冠军，17年的超大规模离在/在离混布能力，2019年的 Yugong 发布并论文被VLDB接受等等）。本文试从面向大数据/云计算的调度挑战出发，介绍各个子领域的关键进展，并回答什么是“伏羲 2.0”。 1. 引言 过去10年，是云计算的10年，伴随云计算的爆炸式增长，大数据行业的工作方式也发生了很大的变化：从传统的自建自运维hadoop集群，变成更多的依赖云上的弹性低成本计算资源

易经 《易经》指《连山》、《归藏》、《周易》三部易书。其中《连山》和《归藏》已经失传，现存于世的只有《周易》。从本质上来讲，《易经》是阐述关于变化之书，是博大精深的辩证法哲学书。《易经》被誉为“诸经之首大道之源”，是中华传统文化的总纲领，蕴涵含着朴素深刻的自然法则和和谐辨证思想，是中华民族万千年智慧的结晶。 《易经》长期被用作“卜筮”。“卜筮”就是对未来事态的发展进行预测，而《易经》便是总结这些预测的规律理论的书。《易经》含盖万有，纲纪群伦，是中华文化的杰出代表；广大精微，包罗万象，亦是中华文明的源头活水。其内容涉及哲学、政治、生活、文学、艺术、科学等诸多领域，是群经之首，儒家、道家共同的经典。 0、易经中难字的读音 爻：音 yáo ，2声。组成八卦中每一卦的长短横道：爻象。 兑：音 dui，4声。兑卦喜悦可见，快乐照临人。 夬：音 guai，4声。决也,刚决桑也。 彖：音 tuan，4声。本义为“猪跑脱”。篆为从彖声之字。 贞：即祯，“贞”为动词，卜问的意思，“祯”为形容词吉祥的意思。 筮：音 shì。占吉凶，如筮短龟长。 1、易经是什么？ (1)、严格说来《易经》和《易传》构成了《周易》；而《周易》、《连山》、《归藏》又构成了《三易》。《连山》是夏代的易学，《归藏》是殷代的易学，《周易》是周代的易学。可惜，《连山》、《归藏》已失传。 (2)、《易经》又称本经，简称《易》

http://life.ynet.com/2019/12/02/2238379t978.html 来源： CSDN 作者： 老蒋的程序人生 链接： https://blog.csdn.net/peraglobal/article/details/104109055

文首 我们都知道负数在计算机中是以补码（忘了补码定义的戳这里）表示的，那为什么呢？本文尝试了解补码的原理，而要想理解它，首先得理解算术中“模”的概念。所以首先看一下什么是模，然后通过一个小例子来理解补码。 1 模（Modulo） 1.1 什么是模数 In mathematics, modular arithmetic is a system of arithmetic for integers, where numbers “wrap around” upon reaching a certain value—the modulus (plural moduli). 1.1.1 理解 模是指一个计量系统的计数范围。如时钟等。计算机也是一个计算器，它也是有一个计量范围，即都存在一个“模”。 如时钟的计量范围是0~11，模 = 12。 32位计算机的计量范围是2^32，模 = 2^32。 “模”是计量器产生“溢出”的量，它的值在计量器上表示不出来，计量器上只能表示出模的余数，如12的余数有0,1,2,3,4,5,6,7,8,9,10,11。 1.2 补数 假设当前时针指向11点，而准确时间是8点，调整时间可有以下两种拨法： 一种是倒拨3小时，即：11-3=8 另一种是顺拨9小时：11+9=12+8=8 在以模为12的系统中，加9和减3效果是一样的，因此凡是减3运算，都可以用加9来代替