大数据实验室(大数据基础培训)——环境准备

风流意气都作罢 提交于 2019-12-02 20:08:25

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/

2. 环境准备

硬件要求:内存:>=4G,硬盘:>=20G,网络畅通
系统要求:Centos6.x,开启SSH,推荐使用Docker,也可使用实体机或虚拟机(Vmware、Virtualbox或Hyper-V)
基本环境:安装完成 JDK8、Scala2.10.x,MySQL、Mongo

2.1. 使用Docker创建环境(推荐/可选)

如您使用的是实体机或虚拟机请忽略此操作。

  • 下载Docker

Linux直接使用包管理工具安装(Centos6及以下版本安装比较麻烦), Windows或Mac使用Docker toolbox安装(已在资源列表中) 详细参见: https://docs.docker.com/

  • 添加镜像

从官方仓库安装:

# 下载scala基础镜像
docker pull gudaoxuri/scala_2.10
# 下载mysql镜像
docker pull mysql
# 下载Mongo镜像
docker pull mongo

如网络过慢可使用资源列表中已下载的镜像安装:

# 从本地添加scala基础镜像
docker load -i <your path>/images/scala_2.10_image.tar
# 从本地添加mysql镜像
docker load -i <your path>/images/mysql_image.tar
# 从本地添加mongo镜像
docker load -i <your path>/images/mongo_image.tar
  • 创建容器

# 创建mysql容器,开放3306端口,用户名root,密码123456
docker run --name mysql -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 -d mysql
# 创建mongo容器,开放27017端口,无需认证
docker run --name mongo -p 27017:27017 -d mongo
# 创建scala基础容器,开放大数据服务需要的几个重要端口
docker run --name bd-lab -h bd -d \
     -p 2181:2181 \
     -p 6066:6066 \
     -p 7077:7077 \
     -p 8088:8088 \
     -p 8041:8041 \
     -p 19888:19888 \
     -p 60010:60010 \
     -p 60030:60030 \
     -p 4040:4040 \
     -p 8080:8080 \
     -p 8081:8081 \
     -p 9000:9000 \
     -p 7203:7203 \
     -p 9092:9092 \
     -p 50010:50010 \
     -p 50070:50070 \
     -p 50075:50075 \
     -p 10000:10000 \
     -p 28081:28081 \
     -p 222:22 \
     -v /c/Users/i/docker_data/bd-lab:/opt/res \
     gudaoxuri/scala_2.10

容器说明

gudaoxuri/scala_2.10镜像开放了SSH服务,用户名root,密码123456,端口号222
-v表示添加数据映射,此处用于获取宿主机是已下载的框架包。对于Windows和Mac宿主机的路径有一定要求,详见 https://docs.docker.com/engine/userguide/containers/dockervolumes/#mount-a-host-directory-as-a-data-volume

后续环境使用docker容器,如无特殊说明所使用容器均基于gudaoxuri/scala_2.10镜像。

Docker使用简明教程

http://gudaoxuri.github.io/Docker_ABC/

2.2. 使用Virtual box创建环境(可选)

  • 下载CentOS6.x

    http://mirrors.163.com/centos/6.7/isos/x86_64/CentOS-6.7-x86_64-minimal.iso
  • 安装CentOS到Virtual box

注意事项

  • 网络使用网桥模式

  • 选择中文(避免乱码)

  • 主机名使用bd

  • IP及DNS安装完成后再配置

  • 安装完成,配置网络

vi /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=yes
BOOTPROTO=static
IPADDR=<ip>
NETMASK=<mask>
GATEWAY=<getway>
ifup eth0

vi /etc/resolv.conf

nameserver 180.76.76.76
nameserver 8.8.8.8

测试

ifconfig
ping www.baidu.com
  • 安装必须的工具

# 测试环境,可以关闭防火墙
chkconfig iptables off
service iptables stop

yum install -y wget

# 安装java
wget -P /opt/env/ --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie"  http://download.oracle.com/otn-pub/java/jdk/8u60-b27/jdk-8u60-linux-x64.tar.gz
tar -xzf /opt/env/jdk-8u60-linux-x64.tar.gz -C /opt/env/
rm -rf /opt/env/jdk-8u60-linux-x64.tar.gz
mv /opt/env/jdk1.8.0_60 /opt/env/java
echo "export JAVA_HOME=/opt/env/java" >> /etc/profile

# 安装Scala
wget -P /opt/env/ http://downloads.typesafe.com/scala/2.10.6/scala-2.10.6.tgz
tar -xzf /opt/env/scala-2.10.6.tgz -C /opt/env/
rm -rf /opt/env/scala-2.10.6.tgz
mv /opt/env/scala-2.10.6 /opt/env/scala
echo "export SCALA_HOME=/opt/env/scala" >> /etc/profile

echo 'export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin' >> /etc/profile
source /etc/profile

# 安装MySQL
yum install -y mysql-server mysql mysql-devel
service mysqld start
# mysqladmin -u root password 123456
mysql -u root -p
grant all on *.* to'root'@'%' identified by '123456';
flush privileges;

# 安装Mongo
vi /etc/yum.repos.d/mongodb-org-3.2.repo
  [mongodb-org-3.2]
  name=MongoDB Repository
  baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/
  gpgcheck=1
  enabled=1
  gpgkey=https://www.mongodb.org/static/pgp/server-3.2.asc

yum install -y mongodb-org

vi /etc/mongod.conf
  bind_ip = 0.0.0.0

service mongod start
  • 文件夹共享

vi /etc/selinux/config
   SELLINUX=disabled

yum install -y samba
vi /etc/samba/smb.conf
    # 开启匿名访问
    security = share
    # 修改访问目录
    [public]
    comment = Public Stuff
    path = /share
    availabe = yes
    browseable = yes
    public = yes
    writable = yes
    printable = no
    write list = +staff

mkdir /share
chmod 777 /share
/etc/init.d/smb start

2.3. 基本环境创建

SSH到实验环境

# 创建用户user,密码123456
adduser user
passwd user
mkdir -p /opt/workspaces/
chown user: /opt/workspaces/

# 进入user账号
su - user

# 切换到工作空间
cd /opt/workspaces
# 创建各框架lib目录
mkdir frameworks
# 创建各框架数据目录
mkdir data
# 创建各框架日志目录
mkdir logs
# 创建应用包目录
mkdir apps

# 创建SSH免密钥登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
如无特殊说明后续操作都使用user账号
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!