Cloudera

社区VIP双11活动 名称：【About云社区VIP小程序】 【点击上面小程序即可下单】 About云会员VIP开通，免回复，不需要积分，即可获取About云分享书籍、文档、视频等资料 开通可加微信w3aboutyun。 开通后效果 星球双11活动 星球内每个主题（专题）都是非常系统的整理，内容皆来自一线工程师的需求或则问题。 星球介绍：1.为大家提供经典整理文章，书籍，文档，项目视频,思想指导，解答。2.帮助指导简历制作，推荐学习资料，找到工作【VIP与星球结合】。3.About云录制视频【独立】亦会放到星球，目前包括：Cloudera视频一套，Flink cep一套。星球的作用: 1.思想指导：提升你的IT能力 2.书籍【几百本】：丰富的技术内容，随取随用:扩展你的知识面 3.项目视频:帮助大家了解实战 4.问题解答:帮助大家解决工作中的难 来源： oschina 链接： https://my.oschina.net/u/4256554/blog/4717136

http://qs51:9205/_license curl -H "Content-Type: application/json" -XPUT -u elastic:changeme 'http://qs51:9205/_xpack/license?acknowledge=true' -d @zhang-showay-07756d6b-6c27-4d3f-a91a-dd9974732c34-v5.json grant all privileges on *.* to root@'%' identified by 'root'; FLUSH PRIVILEGES; sudo useradd --system --home=/opt/cloudera/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 在主节点初始化CM的数据库： /opt/cloudera/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hqs51 -uroot -proot --scm-host qs51 scm scm scm vim /opt/cloudera/cm-5

Hadoop 是什么？ Apache 开发的一套分布式系统基础架构 主要解决海量数据存储，和海量数据计算的问题 Hadoop 更广泛的说，就是一个生态圈 Hadoop 发展历史 Gfs-hdfs Map-reduce-MR BigTable-hbase Hadoop 三大发行版本 Apache: 最原始的基础版本，入门方便 Cloudera ：大型互联网企业中应用较多 Hortonworks ：文档较好 Hadoop 优势 高可靠：底层默认维护多个原数据副本 , 即使 hadoop 在计算或处理某个单元时出现故障，也不会导致数据的丢失 高扩展：通过集群形式处理分配任务数据，可大量扩展集群节点 高效性：在 MapReduce 的思想下， hadoop 是并行工作的，加速任务的处理。 高容错性：能够将自身处理失败的任务重新分配 Hadoop 的组成 Hadoop1.x 辅助工具 common---hdfs 数据存储服务 —mapreduce( 计算 + 资源调度 ) Hadoop2.x 辅助工具 common---hdfs 数据存储服务 —mapreduce( 计算 )—Yarn( 资源调度 ) 1.Hdfs 架构概述 1)Namedode ：存储文件的元数据，如文件名，目录结构，文件属性 ( 生成时间，副本数，文件权限 ) ，以及每个文件的块列表和所在的 datanode 2

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 最近后台有位兄弟向Fayson提了一个问题，原文如下： “ 就是我的hdfs机器配置两个ip，一个外部可以访问，一个内部互联的地址，机器的hostname都是配置内网地址，现在有一个集群外的机器要写hdfs文件，发现namenode分配的datanode的地址是内网地址，不能访问到，这个不知道怎么去配置了。 ” Fayson想了想这个问题其实在各个环境是都可能碰到的，于是在这篇文章给大家系统介绍一下。 在做Hadoop应用开发时有多种方式访问HDFS文件系统（如：FileSystem、WebHdfsFileSystem），Fayson前面的文章《 如何使用Java代码访问HDFS.docx 》已讲过使用FileSystem访问HDFS。另外一种基于REST的API实现，分为两种一种是Hortonworks提供的WebHDFS默认的与Hadoop集成，一种是Cloudera 提供的HttpFS需要安装独立的HttpFS服务。本篇文章主要介绍如何使用WebHdfs和HttpFS方式访问HDFS。两种方式具体架构如下图： 内容概述 1

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 Cloudera在前天8月30日，对外宣布正式发布Cloudera Enterprise 6，相关介绍可以参考Fayson昨天的文章《 Cloudera Enterprise 6正式发布 》。本文档Fayson主要描述如何在Redhat7.4安装CDH6.0。CDH6与CDH5的安装步骤一致，主要包括以下四部分： 1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟等； 2.外部数据库如MySQL安装 3.安装Cloudera Manager； 4.安装CDH集群； 请务必注意CDH6的安装前置条件包括如下： 外部数据库支持： MySQL 5.7或更高 MariaDB 5.5或更高 PostgreSQL 8.4或更高 Oracle 12c或更高 JDK Oracle JDK1.8，将不再支持JDK1.7 操作系统支持 RHEL 6.8或更高 RHEL 7.2或更高 SLES 12 SP2或更高 Ubuntu 16或更高 本次Fayson的测试环境为 1.CM和CDH版本为6.0 2.Redhat7.4 3.JDK1.8.0

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1 文档编写目的 Cloudera在2019年1月29日发布CDSW1.5，CDSW1.5的一个最大的更新就是支持CDH6和HDP，在1.5之前，CDSW是不能安装到CDH6.x的。CDH5.13版本以后支持CDSW的Parcel安装，本篇文章Fayson就主要讲述如何通过CM6.2使用Parcel包安装CDSW1.5。 CDSW需要DNS服务和泛域名解析，可以参考Fayson以前的文章 《 如何在Windows Server2008搭建DNS服务并配置泛域名解析 》、《 如何利用Dnsmasq构建小型集群的本地DNS服务器 》、《 如何在Windows Server2012搭建DNS服务并配置泛域名解析 》，《 如何在RedHat6上使用Bind搭建DNS服务 》或《 如何在RedHat7上使用Bind搭建DNS服务 》，CDSW1.5的新功能可以参考《 0544-CDSW1.5的新功能 》 。 搭建DNS服务推荐Dnsmasq，小巧可爱特方便。 内容概述 1.部署CDSW parcel及安装CSD文件 2

配置namenode HA高可用 使用cloudera manager方式安装，namenode是单节点方式，需要额外配置成HA。配置NameNode HA的两点前提条件： （1）至少是3个或3个以上奇数个JournalNode，否则将无法继续配置NameNode HA. （2）配置NameNode需要有Zookeeper. 在hdfs - 操作 -选择启用HA 填写nameservice名称，自定义即可： 选择另外一台服务器安装namenode ，三个或5个节点安装journalnode。 配置namenode,journalnode数据目录,如/data1/dfs/nn，/data1/dfs/jn 继续等待命令执行完成，按照向导操作即可 启用HA成功 配置yarn HA高可用 使用管理员用户登录Cloudera Manager的Web管理界面，进入YARN服务 点击“启用High Avaiability”，选择ResourceManager主机 点击“继续”，启用ResourceManager HA 点击“完成”，查看YARN服务实例 可以看到YARN的ResourceManager实例为两个，一个是活动状态，一个是备用状态，至此已完成YARN HA的启用，那么接下来就测试下YARN HA功能的可用性。 Yarn HA功能可用性测试 ResourceManager服务状态

1、准备工作 1.1 首先我们要准备三台centos7机器，这三台centos7机器的ip、hostname分别为 IP hostname 192.168.1.25 master 192.168.1.26 slave01 192.168.1.27 slave02 注：这三台机器都要求可以访问外网 1.2 使用到的工具版本说明 centos版本：CentOS-7.4-x86_64-DVD-1708.iso Clouder Manage版本：6.2.0 CDH parcel版本：6.2.0 JDK版本：oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm MySQL版本：5.7 下载地址： Clouder Manager CDH parcel 2、节点服务器配置 2.1 hostname设置 # master节点 hostnamectl set-hostname master # slave01节点 hostnamectl set-hostname slave01 # slave02节点 hostnamectl set-hostname slave02 master节点： slave01节点： slave02节点： 2.2 /etc/hosts设置 vi /etc/hosts 192.168.1.25 master 192.168.1.26

参考文章： CDH常用端口汇总 Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 10020：historyserver端口 Zookeeper: 2181 ： 客户端连接zookeeper的端口 2888 ： zookeeper集群内通讯使用，Leader监听此端口 3888 ： zookeeper端口 用于选举leader Hbase: 60010：Hbase的master的WEB UI端口 60030：Hbase的regionServer的WEB UI 管理端口 Hive: 9083 : metastore服务默认监听端口 10000：Hive 的JDBC端口 Spark： 7077 ： spark 的master与worker进行通讯的端口 standalone集群提交Application的端口 8080 ： master的WEB UI端口 资源调度 8081 ： worker的WEB UI 端口 资源调度 4040 ： Driver的WEB UI 端口 任务调度 18080：Spark History Server的WEB UI 端口 Kafka：

CDH6.3.2 启用Kerberos 集成使用phoenix 标签（空格分隔）：大数据平台构建 一、下载并安装Phoenix parcel 二、安装CSD文件 三、在Cloudera Manager中添加Phoenix服务（前提是已经安装了HBase服务） 四、配置HBase以用于Phoenix 五、验证Phoenix安装 与冒烟测试 六、导入数据验证测试 七、关于phoinex 的schema 与 hbase 的namespace 集成 一、下载并安装Phoenix parcel 下载地址 https://archive.cloudera.com/phoenix/6.2.0/parcels/ PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel.sha https://archive.cloudera.com/phoenix/6.2.0/csd/ PHOENIX-1.0.jar 1. 登录Cloudera Manager，点“群集”->“Parcel”，进入Parcel页。 2. 点击“配置”，添加远程Phoenix Parcel URL，如图1所示，然后保存更改。 4. 完成下载后，点击“分配” 5. 分配完成后，点击“激活” 二、安装CSD文件 2