linux 下搭建 storm

删除回忆录丶 提交于 2020-01-22 12:44:16

搭建storm  需要搭建:

      1.zookeeper 搭建

      2.下载/安装 storm 的依赖包  zeromq, jzmq,python

      2.storm 搭建

 

一、Zookeeper 安装

  1. 下载安装包,到桌面 soft/zookeeper
  2. 解压 命令 tar –xzvf  zookeeper-3.4.5.tar.gz
  3. 解压完成之后得到一个zookeeper-3.4.5 的文件夹一路  cd到conf目录  zookeeper/conf

          

      4.用cp 命令拷贝一个zoo_samle.cfg 为zoo.cfg

         

      5. 然后用vi zoo.cfg命令打开编辑zoo.cfg文件

    (改为自己的目录 /home/sufi/Desktop/zookeeper/zookeeper-3.4.5/data)

          

 

  6. 设置环境变量

         export…与截图一样就可以了

          

  7.回到zookeeper/bin目录下,启动zookeeper服务,在bin下运行 ./zkServer.sh start即可

     

      8.测试zookeeper

        --在zookeeper/bin目录下运行 ./zkCli.sh -server  192.168.130.130 就是你的服务器和端口

        --命令 ifconfig 就可以查到服务器号

二、下载安装storm 的依赖包

    下载安装 zeromq

          

            执行第四步 ./configure 的时候可能报错 (我只遇到1,2 个问题)

    

                             ----输入命令:  sudo yum install gcc-c++ (直接复制就可以了)

                                          运行完,再次输入  ./configure    再看一下有什么错误

    

                             ----命令: sudo yum install uuid-devel      (同样是直接复制)

                 sudo yum install libuuid-devel

           

                            ---命令: sudo yum install libtool     (直接复制)

                            ---此错误在安装jzmq 的  ./configure 时报错   ,还是提前装好吧

 

              安装jzmq

             

                          -----执行      git clone git://github.com/nathanmarz/jzmq.git 可能会报错,可能是网络限制

                                             改为  git clone https://github.com/nathanmarz/jzmq.git      (git-->https)

         安装 Python2.7.2

                   wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz
          tar -zxvf Python-2.7.2.tgz
                      cd Python-2.7.2
                      ./configure
           make
               make install

三、storm 安装

1.下载并解压storm

       ---把压缩文件放到指定目录

       ---tar -zxf  文件名    解压

2.修改storm.yaml配置文件

       ---Storm发行版本解压目录下有一个conf/storm.yaml文件,用于配置Storm

                        ---除了ip 地址,目录,要修改,其他保留复制就可以了

      

      

      ########### These MUST be filled in for a storm configuration
            storm.zookeeper.servers:
            - "10.3.3.244"
            # - "server2"
            #
            nimbus.host: "10.3.3.244"

            storm.local.dir: "/home/aicep/apache-storm-0.9.5/workdir"

            ui.port: 8080
            supervisor.slots.ports:
            - 6700
            - 6701
            #- 6702
            #- 6703

3.启动:

     3.1.首先启动zookeeper ,在其安装的bin 目录下启动   

              --启动zookeeper:命令 :  ./zKServer.sh start

              --jps 命令:查看进程

        

     3.2.启动storm

        ----3.2.1 启动storm主节点服务   nimbus

                   --  ./storm nimbus &         ('&"表示在后台运行)

                        启动完 输入命令  # jps     看进程是否存在

       ----3.2.2 启动storm监控页面:监控地址:http://hostname:8080

                  --  ./storm ui  &

      -----3.2.3 启动supervisor(很不稳定,可能运行时 还要启动一次)

                  -- ./storm supervisor &

      -----3.2.4 命令启动查看的启动的进程

                  

    3.3 检测是否搭建成功 

               打开浏览器 输入 192.168.130.130:8080(本虚拟机的IP+端口号)

               出现页面,则成功

              

 

4.启动一个进程测试


           ---把storm 的java 项目打成jar 文件 我的例子的 storm_epl.jar

                    --右键项目-->export-->java-->javafile-->next-->..记得有一个是四个勾选的(勾 1,3)

                    --把storm_epl.jar 放到 storm 的安装目录下的 lib 文件夹中

                    --进入 lib 目录 ,启动jar 文件

                            ./storm jar storm_epl.jar com.SimpleTopology  test

                                   1             2                         3                   4

                             --1./storm jar 固定格式,所有要启动的都是用  ./storm  这里是启动jar 包, 所以是 ./storm jar

                             --2(jar包的名字,若类不是直接放在 src 下的,前面应该加上包名,我是放在 com包下,所以加 com)

                             --3  main方法所在类的名称

                             --4  该进程的名称(自定义),等到执行性完 ,可以用  ./storm kill 进程名字    杀死该进程

                     ----执行成功显示

                             

            ----进入 192.168.130.130:8080  若执行成功 看到进程的状态为  Active

            ----回到命令 页面 杀死进程

                   ./storm kill test

 

 

参考文档:

      http://shiyanjun.cn/archives/241.html

  http://www.myexception.cn/database/2045639.html

 

           

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!