CentOS

HDP 大数据平台搭建

不打扰是莪最后的温柔 提交于 2021-02-18 03:56:17
一、概述 Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理,简化了大数据平台的安装、使用难度。 二、安装部署 2.1 主机规划 | 序号 | IP地址 | 主机名 |系统版本| | -------- | -------- | -------- | | 1 | 172.20.2.222 | ambari-server |centos7.3 | 2 | 172.20.2.203 | hadoop-1 |centos7.3 | 3 | 172.20.2.204 | hadoop-2 |centos7.3 | 4 | 172.20.2.205 | hadoop-3 |centos7.3 2.2 部署 2.2.1 基础环境部署 a.修改主机名配置hosts systemctl stop firewalld hostnamectl set-hostname ambari-server #更改个主机名 sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config

一文带你快速入门etcd(万字长文)

≯℡__Kan透↙ 提交于 2021-02-17 19:01:44
2018年12月 etcd 作为孵化项目 CNCF(云原生计算基金会),几天前 CNCF 宣布 etcd 正式毕业,成为 CNCF 顶级项目。CNCF 官方表示 etcd 项目的采用率持续增加,也有稳定的治理流程,功能已达一定成熟度。 etcd 已经被许多公司用于实际生产,其中包括亚马逊、百度、思科、EMC、谷歌、阿里、华为、IBM、Red Hat、Uber、Verizon 等;而且其身影也出现在包括 Kubernetes、CoreDNS、M3、Rook 以及 TiKV 等项目当中。 前面的系列 etcd 文章已经部分介绍了 etcd。本文将会做一个快速入门的介绍,带领大家十分钟快速入门云原生存储组件 etcd,主要内容如下(本文较长,建议收藏): etcd 简介,以及其应用场景 etcd 的多种安装模式及高可用运维 etcd v3 的架构解析 etcdctl 的实践应用 1 etcd 介绍 2013 年 6 月,CoreOS 发起了 etcd 项目。etcd 使用 Go 语言实现,是分布式系统中重要的基础组件,目前最新版本为 V3.4.9。etcd 可以用来构建高可用的分布式键值数据库,根据官网介绍,总结来说有如下的特点: 简单:etcd 的安装简单,且为用户提供了 HTTP API,用户使用起来也很简单 存储:etcd 的基本功能,数据分层存储在文件目录中

Python爬虫入门教程 妹子图网站爬取

喜你入骨 提交于 2021-02-17 14:42:51
妹子图网站----前言 从今天开始就要撸起袖子,直接写Python爬虫了,学习语言最好的办法就是有目的的进行,所以,接下来我将用10+篇的博客,写 爬图片 这一件事情。希望可以做好。 为了写好爬虫,我们需要准备一个火狐浏览器,还需要准备抓包工具,抓包工具,我使用的是CentOS自带的tcpdump,加上wireshark ,这两款软件的安装和使用,建议你还是学习一下,后面我们应该会用到。 妹子图网站---- 网络请求模块requests Python中的大量开源的模块使得编码变的特别简单,我们写爬虫第一个要了解的模块就是requests。 妹子图网站---- 安装requests 打开终端:使用命令 pip3 install requests 等待安装完毕即可使用 接下来在终端中键入如下命令 # mkdir demo # cd demo # touch down.py 上面的linux命令是 创建一个名称为 demo 的文件夹,之后创建一个 down.py 文件,你也可以使用GUI工具,像操作windows一样,右键创建各种文件。 为了提高在linux上的开发效率,我们需要安装一个 visual studio code 的开发工具 对于怎么安装vscode,参考官方的https://code.visualstudio.com... 有详细的说明。 对于centos则如下: sudo

CentOS7部署OpenStack

岁酱吖の 提交于 2021-02-17 13:06:10
一、Openstack概述 1.云计算简介 1.1 什么是云计算:本质是 按需使用,按使用付费 基于互联网的相关服务的增加、使用和交付模式 这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算机资源共享池(资源包括网络,服务,服务器,存储,应用软件) 这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互 通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源 1.2 IaaS Infrastructure as a Service,基础设施即服务,最终提供云主机 提供给消费者的服务是对所有计算机基础设施的利用,包括: - 处理CPU、内存、存储、网络和其他基本的计算机资源, - 用户能够部署和运行任意软件,包括:操作系统和应用程序。 消费者不管理或控制任何云计算基础设施,但能控制操作系统的选择、存储空间、部署的应用; Iaas通常分为三种用法:公有云的、私有云、混合云、社区云 云产品:阿里云、亚马逊(Elastic Compute Cloud) 1.3 PaaS Platform as a Service,平台即服务,提供组件 云计算时代相应的服务器平台 或 开发环境作为服务进行提供 就成为了PaaS PaaS运营商所需提供的服务,不仅仅是单纯的基础平台,而是包括针对该平台的技术支持服务,甚至针对该平台而进行的应用系统开发、优化等服务 简单说

cannot find autoconf. please check your autoconf installation Xampp in CentOS

自古美人都是妖i 提交于 2021-02-17 08:52:52
问题 Getting another error when configuring memcahed with php in XAMPP in CentOS # /opt/lampp/bin/phpize Configuring for: PHP Api Version: 20131106 Zend Module Api No: 20131226 Zend Extension Api No: 220131226 Cannot find autoconf. Please check your autoconf installation and the $PHP_AUTOCONF environment variable. Then, rerun this script. How to resolved it ? 回答1: MAC Users You can do it easily using brew. brew install autoconf 回答2: You need to install autoconf For CentOS: # yum install autoconf

cannot find autoconf. please check your autoconf installation Xampp in CentOS

倾然丶 夕夏残阳落幕 提交于 2021-02-17 08:52:08
问题 Getting another error when configuring memcahed with php in XAMPP in CentOS # /opt/lampp/bin/phpize Configuring for: PHP Api Version: 20131106 Zend Module Api No: 20131226 Zend Extension Api No: 220131226 Cannot find autoconf. Please check your autoconf installation and the $PHP_AUTOCONF environment variable. Then, rerun this script. How to resolved it ? 回答1: MAC Users You can do it easily using brew. brew install autoconf 回答2: You need to install autoconf For CentOS: # yum install autoconf

Centos7 yum安装mysql(完整版)

扶醉桌前 提交于 2021-02-17 08:25:39
1.下载mysql 地址: https://dev.mysql.com/downloads/repo/yum/ 。选择对应版本下载。 2.上传到centos7系统中,或者使用wget命令 wget https://repo.mysql.com//mysql80-community-release-el7-3.noarch.rpm 因为mysql8中新加了很多关键字,所以导致我项目有些字段无法使用,推荐还是使用5.7的版本吧 wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 3.安装mysql源 yum -y localinstall mysql80-community-release-el7-1.noarch.rpm(对应版本) (这里安装的是mysql8.0版本) 4.在线安装mysql yum -y install mysql-community-server (会下载多个rpm,耐心等待) linux下设置不区分大小写 1.用ROOT登录,修改/etc/my.cnf 2.在[mysqld]下加入一行:lower_case_table_names=1 这里提前设好不区分大小写,不然得重来一遍。 5.启动mysql服务 systemctl start mysqld 6

centOs7 java启动jar 并部署到nginx

Deadly 提交于 2021-02-17 05:31:08
简单启动命令 启动命令: nohup java –jar 项目名 & 注意 1.加&表示一直后台运行,不加表示临时运行,关闭窗口项目即停止运行 2.nohup:即项目在运行前新建一个nohup.out文件用来记录该项目的运行日志情况。 更新Jar包需要 杀死之前的进程重新部署 重启时需要 ps aux|grep xx.jar 获取当前jar 的端口号 kill -9 端口号 之后 再重新 java -jar xx.jar & 如需要指定端口号 java -jar xx.jar --server.port=8081 & 如果发现&无效 关闭终端还是会杀死进程就用这个 nohup java -jar xx.jar --server.port=8081 >/dev/null 2>&1 & nginx 配置 server { listen 80; server_name www.rr.com; error_page 500 502 503 504 /50x.html; location = /50x.html { root /usr/share/nginx/html; } #将/renren-admin请求转发给http://127.0.0.1:8080/renren-admin处理 location /renren-admin { proxy_pass http://127.0.0.1

一、Docker概述与安装

末鹿安然 提交于 2021-02-17 02:16:53
一、概述 官网: https://www.docker.com dockerhub: https://hub.docker.com/ Docker 是一个开源的应用容器引擎,基于Go语言,并遵从 Apache2.0 协议开源。 Docker 可以让开发者打包 他们的应用以及依赖包 到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。 容器是完全使用 沙箱机制 ,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低。 把项目从windows发布到linux环境并不能跨平台,以前发布一个jar或者war,需要在机器上配置redis、mysql、ES、jdk。使用docker后可以带上环境来打包(镜像)。 二、组成 镜像(image) :通过镜像来创建容器,相当于是一个 root 文件系统,创建 Docker 容器的模板。 容器(container) :独立运行应用,是镜像运行时的实体。 仓库(repository) :Docker 仓库用来保存镜像,可以理解为代码控制中的代码仓库。 三、安装 CentOS的安装文档: https://docs.docker.com/engine/install/centos/ 1、卸载: sudo yum remove docker \ docker-client \ docker