云计算

第一步：通过Spark的shell测试Spark的工作 Step1: 启动Spark集群，这一点在第三讲讲的极为细致，启动后的WebUI如下： Step2: 启动Spark Shell： 此时可以通过如下Web控制台查看shell的情况： Step3: 把Spark安装目录“README.md”拷贝到HDFS系统上 在Master节点上新启动一个命令终端，并进入到Spark安装目录下： 我们把文件拷贝到HDFS的root文件夹下： 此时，我们观察一下Web控制台，会发现该文件已经成功上传到HDFS上： Step4: 在Spark shell之下操作编写代码，操作我们上传的“README.md”： 首先，我们看一下在Shell环境下的“sc”这个自动帮助我们生产的环境变量： 可以看出sc就是SparkContext的实例，这是在启动Spark Shell的时候系统帮助我们自动生成的，SparkContext是把代码提交到集群或者本地的通道，我们编写Spark代码，无论是要运行本地还是集群都必须有SparkContext的实例。 接下来，我们读取“README.md”这个文件： 我们把读取的内容保存给了file这个变量，其实file是一个MappedRDD，在Spark的代码编写中，一切都是基于RDD操作的； 再接下来，我们从读取的文件中过滤出所有的“Spark”这个词

1.大数据 毫 无疑问，大数据绝对是近年来的热门词。最近几年，在大公司，这门技术从“可有可无”的边缘迅速演变成了“必须获取”的核心。许多公司试图把消费者的数据变 成有用的和可操作的情报，以帮助他们降低成本、增加利润。在R、NoSQL和MapReduce方面需求的专业人才薪水达到了每年约11万5千美元，而从 事其它与大数据相关的平台和技术的薪酬也差不多达到了这个水平。 热门的大数据技术有：MapReduce | Hadoop | R | HBase | NoSQL 2.云计算 云计算是2014年最流行的IT词汇。在网络上到处充斥着云的实现，甚至让你都有点对“云”这个词感到厌烦了。但是，如果你身处就业市场，你就会发现雇主对会云计算的人才是有多么的欣赏和重视了。例如，OpenStack的专业人才每年的平均工资达到了10万7千美元。 热门的云计算技术有：OpenStack | Cloudera | Azure | Amazon Web Services 3.信息安全 与 大数据和云计算不同，信息安全是一门成熟的技术。但是到现在，这门技术同样很重要而且它的变化并不大。事实上，随着穿戴技术、电器、汽车、网络等越来越多 设备的出现，对于信息安全的需求也在与日俱增。安全问题成为了政府、企业和个人最重要的 一个挑战。如果你想要确保设备和网络的安全，你应当意识到，每个星期你都得进行安全检查。

本文作者：zytan_cocoa 略谈分布式系统中的容器设计模式 谭中意 2020/3/5 前言 ：云原生（Cloud Native）不仅仅是趋势，更是现在进行时，它是构建现代的，可弹性伸缩的，快速迭代的计算网络服务的事实标准。其中容器编排系统Kubernetes和容器是基石。所以每个工程师都需要学习和了解他们。学习过程中，很多工程师可能会问： 为什么Pod而不是容器是K8S部署的最小单位 ？ 基于K8S设计分布式系统有没有什么套路 ？本文针对这些问题，并参考K8S创始人的很多文档，给出了解答。本文适合进行研发工作2到3年的同学，对架构设计比较感兴趣，有一定架构设计意识，同时对容器（Docker）和容器编排系统（kubernetes）有一定了解。希望可以通过此文，让同学们更深入的了解到分布式容器系统中的几种常见模式，以便以后更好的设计和实现云原生的分布式系统。 先从一篇论文说起 ： 首先介绍一篇论文，标题是《Design patterns for container-based distributed systems》，作者是Brendan Burns和David Oppenheimer，论文发表于2016年，是原原生领域系统设计的代表作。 第一作者Brenda Burns，相信熟悉云原生领域的同学都认识他，他之前是Google的工程师，是Kubernetes的三位创始人之一

本文作者：cloudmarket 突如其来的新冠疫情已在全国渐渐蔓延开来，随着假期的结束，除几处疫情较重地区外，全国各地企业陆陆续续复工，为了减少聚集性感染的传播途径，有效防空疫情，企业都对员工下发了居家办公的通知。 在当前疫情无法正常复工形势下，我们第一时间精选多款远程办公类商品，联系云市场服务商并积极沟通，经协调服务商愿意在疫情期间全面让利给广大企业，其中近10款商品以免费形式提供，助力企业开启远程协作，协助疫情防控，一起为全国抗疫贡献力量。 自动化营销：释放人力，共渡难关 云市场精选四款自动化营销产品，涉及邮件营销、搜索引擎营销、短信营销、电话营销多个领域，减少企业营销人力的投入，提高在线办公效率。 音视频互动：千里之隔，近在咫尺 居家办公，线上会议必不可少！学校延迟开学？在家也能不能放纵自己，百度智能云云市场在此艰难时刻为企业提供视频会议系统和线上学习平台，帮助企业线上协作，帮助学校远程授课。 办公协同：远程协作，云上办公 云市场精选四款办公软件，完善的OA办公系统为企业云上办公增添羽翼，帮助企业提高在线协作效率。 此次百度智能云云市场就“自动化营销”“音视频互动”“办公协同”三个方向，为用户精选十余款产品，助力企业开启远程办公，高效在线协同。此外百度智能云已上线各种AI场景解决方案并已投入到实际应用中，后续百度智能云将推出更多抗击疫情的相关功能和技术服务

概述 阿里云发布了许许许多多的产品，今天就让我们一起来了解下高性能计算 HPC (AliCloud HPC)吧。 关于阿里云高性能计算（HPC）的详细内容： 阿里云高性能计算（HPC）使用教程 （高性能计算 (Alibaba Cloud HPC) 提供一种性能卓越、稳定、安全、便捷的计算服务，帮助您快速构建处理能力出色的应用，解放计算给服务带来的压力，使您的产品在计算效率上具有非凡竞争力。） 什么是高性能计算HPC呢？ 通俗的说，高性能计算HPC提供一种性能卓越、稳定、安全、便捷的计算服务，帮助您快速构建处理能力出色的应用，解放计算给服务带来的压力，使您的产品在计算效率上具有非凡竞争力。 高性能计算 HPC 产品提供适用于多种 HPC 场景的计算服务，与传统 HPC 服务器相比，高性能计算 HPC 有什么优势呢？一起来看下吧。 HPC可按需灵活定制，具备低服务器投资风险，低服务器运维成本。由于无虚拟化开销，无硬件功能阉割，HPC可实现高性能。HPC全面对接阿里云安全，灵活计价周期 ，弹性扩展伸缩自如 。HPC还提供性能优化服务。 正是因为这么多的优势，HPC在功能上也为用户提供了保障。下面就是HPC的各方面功能介绍： HPC极致计算性能，为用户提供 11TFLOPS 的单精度计算能力 。 HPC完美对接阿里云产品，为用户提供全套完整解决方案。 HPC自带网络隔离

摘要： 北京时间5月4日晚间，阿里巴巴集团公布2018财年第四季度和全年财报，该季度内（2018年1月至3月底）阿里云营收43.85亿元，同比增长103%；2018财年（2017年4月至2018年3月底）营收133.9亿元，同比增长101%。 北京时间5月4日晚间，阿里巴巴集团公布2018财年第四季度和全年财报，该季度内（2018年1月至3月底）阿里云营收43.85亿元，同比增长103%；2018财年（2017年4月至2018年3月底）营收133.9亿元，同比增长101%。 过去三年，阿里云每个季度以三位数左右的增速在不断扩大自己的市场领先优势。截止2017年上半年，研究机构IDC通过销售、市场等渠道得到的调研数据显示，阿里云在中国云计算IaaS市场份额为47.6%，几乎为市场所有追随者的总和，也是市场第二名的5倍。 阿里云于2009年创立，当时阿里巴巴正在面对极端复杂的商业和技术难题，从购买软件走向了技术自研道路，由此累积的技术产品和方法论，为阿里云的成功创造了历史机遇。 经过18年的发展，阿里巴巴本身已经成为数字经济体的最佳案例，其在自身业务场景中形成了完善的数字化转型技术和方法论。面对数字化转型的挑战，大中型企业们也纷纷转向阿里云来寻求解决方案。 财报中披露，中石油、国泰航空、马来西亚首都吉隆坡等正在使用阿里云提供的数字化转型解决方案。其中

本文作者：HelloDeveloper 你有没有遇到过这种情况，朋友圈大量转发的“新闻”最后被澄清是假消息；同样一个视频内容，被很多人直接发到自己的社交账号，以此来博得关注。 随着社会的发展与AI等一系列新技术的兴起，人们开始赋予社交产品更多新鲜玩法，“图片社交”、“视频社交”、“陌生人社交”等新社交理念的出现，让社交产品不仅仅只满足于“沟通”这一单一属性，开始出现购物、资讯获取、知识分享等综合的发展态势。 社交产品向更复杂更细分方向发展的过程中，很多以往不易暴露的问题也逐渐显现出来，例如网络信息安全保障低、社交平台与用户信息不对称而引发的权利不对等、虚假信息传播等。目前为止，亿万级的社交平台都还使用传统中心化的管理方式，这让问题的解决止步不前。而区块链或许能为这些中心化社交平台难以解决的痛点提供新的思路。 中心化平台所具有的通病 ▷ 用户私人信息及数据泄露：在当前的社交模式下，所有信息的传递都需要平台作为第三方来运营，所以无论是用户在平台上分享文章、照片、视频，还是和其他用户聊天，社交平台都能够完全捕捉到用户在平台上产生的各种数据。这也意味着，用户信息有随时被泄露的危险，一方面社交平台的服务器储存了相关的信息，一旦被黑客攻击，用户信息就会被盗取；另一方面社交平台本身也可能为了利益交易用户信息。 ▷ 用户虚假信息的传播：社交平台本质上就是给用户提供信息的交互

阿里云和腾讯云均提供GPU云服务器，GPU云服务器实例规格有很多，很多用户不清楚如何选择？码笔记认为根据实际使用场景选择GPU实例即可，码笔记分享阿里云GPU实例规格选择及腾讯云GPU实例规格选择方法： GPU云服务器实例规格 阿里云和腾讯云提供的GPU云服务器根据使用场景划分为多个GPU实例，如下： 阿里云GPU实例 ：GA1（AMD S7150）、GN4（Nvidia M40）、GN5（Nvidia P100）、GN5i（Nvidia P4）和GN6（Nvidia V100）； 腾讯云GPU实例 ：GA2、计算型GN2、计算型GN6、计算型GN6S、计算型GN7、计算型GN7、计算型GN8和计算型GN10X。 如何选择GPU实例规格，参考下表根据使用场景选择GPU实例： 阿里云GPU云服务器选择方法 阿里云GPU云服务器适用于视频处理、3D图形渲染、深度学习/训练、科学计算、在线推理等应用场景： GPU云服务器 核心内容 GN6（Tesla V100） GN4（Tesla M40） GN5（Tesla P100） GN5i（Tesla P4） GPU卡 GPU卡 最大支持 8 * Nvidia V100 最大支持 2 * Nvidia M40 最大支持 8 * Nvidia P100 最大支持 2 * Nvidia P4 计算力 INT8整型（TOPS） ○ ○ ○ ●

近年来，IT 技术的更新迭代速度非常快，每个时间点都有典型的代表名词以及概念，就目前而言，人工智能领域中的机器学习、深度学习、强化学习等名词和概念就非常热，同时区块链、物联网等技术发展也是异常火热。 在云计算领域，有这样一个技术被众多云厂商认为是“风口项目”，甚至可以颠覆现有云计算中的某些格局，为此包括 AWS、谷歌以及腾讯云、阿里云等在内的云厂商，都为此投入了重大人力以及精力进行相关产品建设，它就是 Serverless 技术。 自 2006 年 8 月 9 日，Google 首席执行官埃里克·施密特（Eric Schmidt）在搜索引擎大会（SESSanJose2006）首次提出“云计算”（Cloud Computing）的概念之后，云计算的发展可以用日新月异这个词来形容。 在短短十几年的发展过程中，云计算也从 IaaS 到 PaaS，再到 SaaS，逐渐将去服务器化趋势表现得愈发明显。就目前的情况来看，全球各大 IT 企业，都在紧罗密布的部署自己的“云事业”，尤其是 Serverless 相关概念的推广和产品的推出以及项目的落地，包括 AWS、Google Cloud、Azure、阿里云、腾讯云、华为云等在内的云厂商，无一例外的向 Serverless 进军。或许云计算下一个阶段，可能就是 BaaS+FaaS+Others，即 Serverless，当然也可能这个阶段就是！

本文作者：zytan_cocoa 略谈分布式系统中的容器设计模式 谭中意 2020/3/5 前言 ：云原生（Cloud Native）不仅仅是趋势，更是现在进行时，它是构建现代的，可弹性伸缩的，快速迭代的计算网络服务的事实标准。其中容器编排系统Kubernetes和容器是基石。所以每个工程师都需要学习和了解他们。学习过程中，很多工程师可能会问： 为什么Pod而不是容器是K8S部署的最小单位 ？ 基于K8S设计分布式系统有没有什么套路 ？本文针对这些问题，并参考K8S创始人的很多文档，给出了解答。本文适合进行研发工作2到3年的同学，对架构设计比较感兴趣，有一定架构设计意识，同时对容器（Docker）和容器编排系统（kubernetes）有一定了解。希望可以通过此文，让同学们更深入的了解到分布式容器系统中的几种常见模式，以便以后更好的设计和实现云原生的分布式系统。 先从一篇论文说起 ： 首先介绍一篇论文，标题是《Design patterns for container-based distributed systems》，作者是Brendan Burns和David Oppenheimer，论文发表于2016年，是原原生领域系统设计的代表作。 第一作者Brenda Burns，相信熟悉云原生领域的同学都认识他，他之前是Google的工程师，是Kubernetes的三位创始人之一