scm

要配置生产环境前，最好严格按照官方文档/说明配置环境。比如，官方说这个安装包用于RETHAT6, CENTOS6，那就要装到6的版本下，不然很容易出现各种各样的错。 配置这个CDH5我入了很多坑，最重要的有2点 1. HP GEN9 DL60服务器装CentOS系统, 开始想装7的版本, 官方只说支持到6. 经过各种折腾确实装好了（后面会单开一章写服务器装CentOS7） 2. CDH暂不官方支持CentOS 7, 查到国外有人是安装成功了,但是会有各种小问题需要息解决. 如7带的是python2.7, 而CDH5还是用的2.6, 所以会有包缺失. 所以最终我还是把我的服务器重装回6.5了 ==================准备安装========================== 1. 查看并下载最新的CDH版本: http://archive.cloudera.com/cdh5/parcels/latest/ ( 20150530时还是5.3.3的版本), 如果是CentOS6, 则下载带el6的 . 　　 需要下载的文件有三个, 对应的parcel, parcel.sha1, manifest.json 下载完.sha1后改后缀为.sha 2. 下载对应的CM版本: http://archive-primary.cloudera.com/cm5/cm/5/

1 问题重现 通过Cloudera Manager主页访问“主机”页面，发现其中一台主机有2条重复的记录，一条有角色相关信息但是心跳明显超时很久了，另外一台有心跳但是没有主机角色信息，而且所有主机都是未知状态，如下： 回到Cloudera Manager主页也发现无论是Cloudera Management Service还是集群的Hadoop服务都是未知状态。 重启Cloudera Management Service显示失败： 测试环境 1.CDH6.1 2.Redhat7.4 3.采用root进行操作 2 问题解决 1.首先我们登录MySQL，并查看Cloudera Manager数据库的HOSTS表进行核对。 mysql - u root - p use cm ; SELECT HOST_ID , NAME , IP_ADDRESS , HOST_IDENTIFIER FROM HOSTS ; Fayson的集群一共4台机器，发现确实有5台主机，并且IP为172.31.6.83有两台机器： 2.查看Cloudera Manager数据库的ROLES_AUD即角色表确认172.31.6.83有角色的HOST_ID。 MariaDB [ cm ] > select * from ROLES_AUD order by HOST_ID ; 对应第1步的HOSTS表的数据

SCMA的实现基于两步： 1.实现码本资源到物理频域资源映射的映射矩阵（matrix mapping）； 2.实现二进制比特流到码本映射的复数域星座图(complex domain constellation design)； (b1,b2)-----复数域星座映射（二维）------>(x1,x2,x3,x4)------一个码字到两个物理资源块的映射（每个资源块实现一个复信号的传输）------->f1:x1+jx2 f2:x3+jx4 上述过程实现了一个码字在两个物理资源块上的传输。 而在普通的OFDM中，一个(b1,b2)-----星座映射------>(x1,x2)------映射到一个物理资源块（每个资源块实现一个复信号的传输）------->f1:x1+jx2 来源： https://www.cnblogs.com/weinapang/p/11984681.html

简介 众所周知，HDFS是大数据存储系统，并在业界得到了广泛的使用。但是无论大集群还是小集群其扩展性都受NameNode的限制，虽然HDFS可以通过Federation进行扩展，但是依然深受小文件和4亿个文件的困扰。 于是分布式key-value存储系统Ozone诞生了，Ozone能够轻松管理小文件和大文件。 其他能处理小文件的存储方案有Hbase, ceph等, 本人目前所了解的是ceph性能更好, ozone由于未在上产环境中实践过, 性能对比尚不可知。 Ozone是专门为Hadoop设计的可扩展的分布式对象存储系统。 Hadoop生态中的其它组件如Spark、Hive和Yarn不需要任何修改就可以直接运行在Ozone之上。 Ozone的使用方式也较为丰富，可以通过命令行直接使用也有java客户端接口，而且接口支持RPC和REST。 组成: volumes Volumes只有管理员能够创建和删除，类似账号的概念，管理员一般都是给某个团队或者组织创建一个Volume。 Buckets是在Volume下，一个Volume可以包含n个Buckets，但是Buckets下面只能是Keys。 buckets 类似目录, 但只能有一层, 因为Buckets中不能包含其它Buckets。 Keys Keys就是具体的对象，在Buckets中是唯一的，其名字可以是任意字符串

CDH 6.3.x 离线安装 环境 CDH 6.3.1 CentOS 7 官方文档 修改主机名，配置host文件 # 根据个人需要修改主机名称 hostnamectl set-hostname node1 hostnamectl set-hostname node2 hostnamectl set-hostname node3 # 修改每个主机的 host 文件 vi /etc/hosts 172.16.1.181 node1 172.16.1.182 node2 172.16.1.183 node3 关闭系统默认安全防护 关闭防火墙 systemctl stop firewalld && systemctl disable firewalld && systemctl status firewalld 关闭SELinux.md ssh 使用密钥登陆 node1 到其他节点即可，配置参考文档： Linux SSH 使用密钥登陆.md 所有节点使用相同的密码，在安装的时候使用密码操作。 机器间时钟同步 所有节点时间必须一致，配置参考文档： Linux 配置时钟同步.md PG数据库 可以选择的数据有多种，这里使用PG，配置参考文档： PostgreSQL 安装之 CentOS 7 x64 RPM 安装.md 注意开启远程访问，使每个节点都能访问到数据库。 注意安装驱动程序。

安装过程中，由于网络终端，导致下面问题： 问题1：安装停止在获取安装锁 /tmp/scm_prepare_node.tYlmPfrT usingSSH_CLIENT to get the SCM hostname: 172.16.77.20 33950 22 opening logging file descriptor 正在启动安装脚本...正在获取安装锁...BEGIN flock 4 这段大概过了半个小时，一次卸载，一次等了快1个小时，终于过去了， 问题2：不能选择主机 安装失败了，重新不能选主机 图1 解决方案，需要清理安装失败文件 卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译：高可用】 问题3：DNS反向解析PTR localhost： 描述： DNS反向解析错误，不能正确解析Cloudera Manager Server主机名 日志： Detecting Cloudera Manager Server... Detecting Cloudera Manager Server... BEGIN host -t PTR 192.168.1.198 198.1.168.192.in-addr.arpa domain name pointerlocalhost. END (0) using localhost as scm server

CDH CDH介绍 Apache Hadoop不足之处 版本管理混乱 部署过程繁琐、升级过程复杂 兼容性差 安全性低 CDH介绍 基于web的用户界面 提供了hadoop的核心 快速搭建hadoop集群 对集群进行管理 方便对hadoop版本升级 新版本的hadoop与hive、habase、kafka、spark等兼容 CDH架构图 CDH安装方式 cloudera manager（推荐） yum rpm tarball CDH下载地址 CDH http://archive.cloudera.com/cdh5/ cloudera manager http://archive.cloudera.com/cm5/cm/5/ cloudera manager cloudera manager是一个管理CDH的端到端的应用 作用 管理 监控 诊断 集成 cloudera manager安装 系统环境准备 网络配置 vi /etc/sysconfig/network vi /etc/hosts SSH免密钥登陆 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.sh/id dsa.pub >>~/.ssh/authorized keys 防火墙关闭 service iptables stop chkconfig iptables off

scm即软件配置管理。 软件配置管理(SCM)是指通过执行版本控制、变更控制的规程，以及使用合适的配置管理软件，来保证所有配置项的完整性和可跟踪性，配置管理是对工作成果的一种有效保护。 SCM（Software Configuration Management，软件配置管理）是一种标识、组织和控制修改的技术。它应用于整个软件生存期。 在软件建立时会经常产生变更，而变更加剧了项目中软件人员之间的混乱。之所以产生混乱，是因为在进行变更前没有仔细分析，或没有进行变更控制。 因为变更在任何时刻都可能发生,因此软件配置管理活动的目标就是为了标识变更,控制变更,确保变更正确地实现,向其他有关的人报告变更。 软件配置管理是一组追踪和控制活动,它们开始于软件开发项目开始之时,结束于软件被淘汰之时。从某种角度讲，SCM是一种标识、组织和控制修改的技术，目的是使错误降为最小并最有效地提高生产效率。 来源： https://www.cnblogs.com/kakaisgood/p/11847385.html

安装包 CLOUDERA管理安装包 http://archive.cloudera.com/cm5/cm/5/ http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz CDH版本包 CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1, manifest.json http://archive.cloudera.com/cdh5/parcels/5.13.3/ http://archive.cloudera.com/cdh5/parcels/5.13.3/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel http://archive.cloudera.com/cdh5/parcels/5.13.3/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1 http://archive.cloudera.com/cdh5/parcels/5.13.3/manifest.json CDH组件安装包 cdh5.13.3-centos7.tar.gz https://archive.cloudera.com

yum 安装cm 主机名 /etc/hosts hostnamectl set-hostname foo-1.dataexa.com hostnamectl set-hostname foo-2.dataexa.com hostnamectl set-hostname foo-2.dataexa.com hostnamectl set-hostname cdh-1.dataexa.com hostnamectl set-hostname cdh-2.dataexa.com cat >> /etc/hosts <<EOF 192.168.2.150 cdh-1.dataexa.com cdh-1 192.168.2.117 cdh-2.dataexa.com cdh-2 EOF 192.168.1.142 foo-1.dataexa.com foo-1 192.168.1.143 foo-2.dataexa.com foo-2 swappiness /proc/sys/vm/swappiness 设置为 10 echo never > /sys/kernel/mm/transparent_hugepage/defrag selinux vi /etc/selinux/config sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc