Apache Hadoop YARN

一、MaxCompute资源规划背景介绍 MaxCompute资源主要有两类：存储资源、计算资源(包含cpu和内存)。存储资源用于存储MaxCompute的库表数据，计算资源用于运行sql、mr等任务。最佳的MaxCompute资源规划方案能够达到以下几个目的： 数据存储资源足够，既能够存储当前的所有存量库表数据，也能够存储未来一段时间的增量数据； 计算资源充足，但是不能浪费。计算资源量能够满足所有数据计算任务，且尽可能减少资源浪费情况。这样耗费的资源费用最少； 被处理的数据量巨大、耗费计算资源较多的大型任务，可能会将quota group资源组耗尽，造成其他任务无法获取到计算资源而阻塞。MaxCompute资源规划方案必须能够尽量避免这种情况； 不同优先级的计算任务能够尽量互不干扰，优先保证高优先级的任务获取到足够计算资源； 能够满足时段的差异化资源需求，满足对资源隔离（生产/开发/自助分析）不同工作负载的能力，避免相互干扰，同时更大化提高资源使用率。 MaxCompute资源规划的最终目标就是能够满足上述几点需求，企业客户消耗最低资源费用的情况下，满足数据存储需求，以及数据处理任务对计算资源的需求。 本文内容主要基于阿里公有云MaxCompute环境。公有云和专有云环境的MaxCompute资源规划有比较大的差异，比如：在公有云环境

　　大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。而今天我们就来了解一下，常见的大数据平台都包含哪些层次？ 　　1、数据采集层：分3个层面的采集技术进行支持，一是传统业务系统数据库和半结构化、结构化数据的采集和集成，如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集，包括实时传感器数据、定位轨迹数据和其他实时流数据;三是交通公共数据的采集，包括公网的数据爬取、开放平台的数据接口、行业公共数据库的数据交换等。对采集到的数据需进行提取、转换和加载(extract-transform-load，ETL)处理，包括数据抽取、转换、清洗和隐私脱敏等预处理工作，预处理集成后的数据进入交通大数据云存储中心。 　　2、数据存储层：交通领域数据规模巨大，数据存储层需设计基于云计算的分布式云存储系统，以支持海量数据的存储扩展。提供基于云的列式存储、NoSQL存储或数据仓库存储能力;根据业务需求和快速配置，可切换相应的分布式存储模式，还可根据需要对传统BI系统的数据仓库和数据集市进行集成。利用Hadoop集群提供PB级存储能力扩展，同时Hadoop YARN和Spark Mesos等集群资源管理框架可支持多种存储模式和计算模式在此基础上，对各类存储数据进行多粒度信息融合

Hadoop YARN的生态系统 为了能够对集群中的资源进行统一管理和调度，Hadoop 2.0引入了数据操作系统YARN。YARN的引入，大大提高了集群的资源利用率，并降低了集群管理成本。首先，YARN允许多个应用程序运行在一个集群中，并将资源按需分配给它们，这大大提高了资源利用率，其次，YARN允许各类短作业和长服务混合部署在一个集群中，并提供了容错、资源隔离及负载均衡等方面的支持，这大大简化了作业和服务的部署和管理成本。 YARN总体上采用master/slave架构，如图1所示，其中，master被称为ResourceManager，slave被称为NodeManager，ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster，它负责向ResourceManager申请资源，并要求NodeManger启动可以占用一定资源的Container。由于不同的ApplicationMaster被分布到不同的节点上，并通过一定的隔离机制进行了资源隔离，因此它们之间不会相互影响。 YARN中的资源管理和调度功能由资源调度器负责，它是Hadoop YARN中最核心的组件之一，是ResourceManager中的一个插拔式服务组件

1、检查是否正确的启动了resourcemanager服务 　　若是没有启动，请检查yarn-site-xml配置 2、若是启动了 　　1、检查客户机和虚拟机之间是否能够相互ping通 　　2、检查虚拟机防火墙是否关闭 3、排查 1、首先，各个虚拟机和客户端之前都能ping通，虚拟机都能上外网，说明网络没有问题。 2、各个虚拟机自己的防火墙已经关闭。 3、在外网可以连接22端口和50070端口 4、解决 　　通过命令：netstat -tpnl | grep java 发现 　　那么通过在本机通过127.0.0.1:8088 可以访问，所以现在改为外网ip应该就行了 　　说明：外网IP：192.168.80.11 　　去master主机中：更改/etc/hosts文件： 　　 　　 注意：我自己配置的是伪分布式，在配置文件内配置的都是localhost，根据自己的配置自行更改。 　　 然后在通过netstat -tpnl | grep java 命令查看： 　　 　　在客户机上再通过外网就能访问了： 　　 问题解决。 　　 来源： oschina 链接： https://my.oschina.net/u/4397463/blog/3827209

Heaven-Wang 最后发布于2015-10-30 11:32:35 阅读数 17924 收藏 14 展开 理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。 一、调度器的选择 在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，FairS cheduler。 FIFO Scheduler把应用按提交的 顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配 ，以此类推。 FIFO Scheduler是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。 下面“Yarn调度器对比图”展示了这几个调度器的区别

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 早上发现服务器cpu使用异常 进程如图所示 按照挖矿病毒的套路 肯定是定时任务不停地执行脚本 遂查看定时任务 进入/var/spool/cron 查看定时任务 发现里面有一个root文件 定时任务每分钟执行一次/root/.tmp00下的脚本 脚本是编译过的 初步测试 删除定时任务 删除之后会马上生成一个定时任务 所以想办法删除执行脚本 文件信息如下 这几个文件删除后会马上生成 目前的解决办法是 chmod 000 文件 让执行文件不可执行 目前看来挖矿病毒并不会验证脚本的权限 此时删除定时任务 发现定时任务不会再次生成 定时任务成功删除后 将没有执行权限的几个文件删除 此时发现并没有自动生成文件 问题解决 。 文件删除自动生成可能是因为脚本文件都是双份的原因 删除一个 另一个马上自动生成文件 双份的文件包括 bash bash64 cfg cfgi 来源： oschina 链接： https://my.oschina.net/u/3618851/blog/3076165

关于动态 静态资源池的配置以前都有提过，可以从以下几篇了解： YARN动态资源池配置案例 https://yq.aliyun.com/ziliao/346856# Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数 Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数 Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数 Hadoop 2.0中Capacity Scheduler与Fair Scheduler对比 Hadoop权限管理 而如果不小配错了想回滚怎么办？？？ 动态池还好说重设刷新资源状态就好， 静态的可以参考如下： 解决办法： 英文好的就看原文吧： Disabling Static Service Pools To disable static service pools, disable cgroup-based resource management for all hosts in all clusters: 1.In the main navigation bar, click Hosts. 2.Click the Configuration tab. 3.Click the Resource Management category, uncheck the

Spark Core Spark Core 实现了Spark 的基本功能，包含 任务调度 、 内存管理 、 错误恢复 、与 存储系统交互 等模块。 Spark Core 中还包含了 对弹性分布式数据集（resilient distributed dataset，简称RDD）的API 定义。 RDD 表示分布在多个计算节点上可以并行操作的 元素集合 ， 是Spark 主要的编程抽象 。 Spark Core 提供了创建和操作这些集合的多个API。 Spark SQL Spark SQL 是Spark 用来 操作结构化数据的程序包 。 使用SQL或者Apache Hive 版本的SQL 方言（HQL）来查询数据。 Spark SQL 支持多种数据源，比如Hive 表、Parquet 以及JSON 等。 除了为Spark 提供了一个SQL 接口， Spark SQL 还支持开发者将SQL 和传统的RDD 编程的数据操作方式相结合， 不论是使用Python、Java 还是Scala， 开发者都可以在单个的应用中同时使用SQL 和复杂的数据分析。 通过与Spark所提供的丰富的计算环境进行如此紧密的结合， Spark SQL 得以从其他开源数据仓库工具中脱颖而出。 Spark SQL 是在Spark 1.0 中被引入的。 Spark Streaming Spark Streaming

概要 近日，阿里云安全团队发现wacthbo挖矿团伙[1]新增了CVE_2019_5475 的漏洞利用代码，并开始进行尝试性攻击。 通过对CVE_2019_5475漏洞的生命周期进行分析后发现，漏洞批量化利用的速度正在提高，如果未能在黄金修补周期内对漏洞进行修补，将有可能很快遭遇蠕虫和恶意攻击程序的攻击。 阿里云目前已第一时间上线默认防御策略。 背景 阿里云安全团队9月6日捕获了一起新漏洞利用，通过对涉及应用和漏洞的分析，我们确认这是watchbog团伙的一次版本更新，此次版本更新引入了新的漏洞CVE_2019_5475作为攻击武器，利用该漏洞该蠕虫可以通过几个简单的 HTTP 请求即可达到入侵并控制机器的目的。 漏洞涉及的应用Nexus 是一个强大的仓库管理器，它可以用于简化内部仓库和外部仓库的访问，是常见的maven私服解决方案。但是Nexus Repository Manager 2.x Capabilities中存在默认的弱密码账号，在使用401登录认证后，即可通过createrepo或mergerepo配置实现远程命令注入，从而执行任意功能。 漏洞利用payload CVE_2019_5475 的利用代码如下所示: PUT /nexus/service/siesta/capabilities/00009df00fbcea95 HTTP/1.1 Content-Length