大数据组件服务的启动与关闭命令

落花浮王杯 提交于 2020-02-05 05:27:03
本文主要整理了大数据组件服务的启动与关闭命令,主要包括Hadoop,Spark,HBase,Hive,Zookeeper,Storm,Kafka,Flume,Solr,ElasticSearch。 

1、Hadoop集群
1)启动方式切换到主节点的hadoop安装目录下的sbin目录下a)/start-dfs.sh ./start-yarn.sh (建议使用)b)./start-all.sh2)关闭方式a)./stop-dfs.sh ./stop-yarn.sh (建议使用)b)./stop-all.sh

2、Spark集群
切换到主节点的Spark安装目录下的sbin目录下(1)启动方式./start-all.sh(2)关闭方式./stop-all.sh

3、HBase集群
1)启动方式先启动Hadoop集群,后启动HBASE#cd $HBASE_HOME/bin#./start-hbase.sh2)关闭方式#cd $HBASE_HOME/bin#./stop-hbase.sh3)web访问方式Masterhttp://192.168.2.12:60010/master-statusRegionServerhttp://192.168.2.12:60030/

4、Hive
hadoop必须已经启动切换到节点的Hive安装目录下的bin目录(1)启动Hive:./hive 如果配置环境变量 直接输入hive或者./hive --service cli

5、Kafka
切换到节点的Kafka安装目录下的bin目录(1)启动Kafka服务:./kafka-server-start.sh config/server.properties
后台启动命令: ./kafka-server-start.sh -daemon config/server.properties(2)查看Kafka状态:./zkServer.sh status(3)创建topic:./kafka-topics.sh --create --zookeeper localhost:主机ip --replication-factor 3 --partitions 1 --topic topic名字 (3是在配置文件中配置的replication-factor,1是在partitions中配置的)(4)查看topic:./kafka-topics.sh --list --zookeeper localhost:2181(5)发送消息:./kafka-console-producer.sh --broker-list localhost:9092 --topic topic名字(6)接收消息:./kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic名字--from-beginning(7)查看topic情况:./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic(8)删除topic:./kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic名字(9)关闭Kafka服务:1、jps查看pid 2、kill -9 pid


6、ZooKeeper
切换到节点的zookeeper安装目录下的bin目录(1)启动ZK服务:./zkServer.sh start(2)查看ZK服务状态:./zkServer.sh status(3)停止ZK服务:./zkServer.sh stop(4)重启ZK服务:./zkServer.sh restart

使用jps查看:
jps
结果
QuorumPeerMain

7、Storm
切换到节点的Storm安装目录下的bin目录(1)启动Storm主结点:nohup ./storm nimbus > ../logs/info 2>&1 &(2)启动Storm从结点:./storm supervisor > ../logs/info 2>&1 &(3)启动Storm管理界面:./storm z ui> /dev/null 2>&1 &(4)启动Storm日志:nohup storm logviewer > /dev/null 2>&1 &(5)查看任务:./storm list (6)杀死任务:./storm kill lifeCycle(任务名称)


8、Flume
切换到Flume安装目录下
1)启动服务:bin/flume-ng agent -c conf -f flume-netcat.properties -name a -Dflume.root.logger=INFO,console2)停止服务:1、jps查看pid 2、kill -9 pid

9、Solr
进入安装目录下的example目录(1)启动服务:后台运行solr,默认监听8983端口nohup java -jar start.jar >/dev/null &2)停止服务:java -DSTOP.PORT=8983 -DSTOP.KEY=solr -jar start.jar –stop

10、ElasticSearch
下载并解压elasticsearch-servicewrapper-master把service目录拷贝到ES_HOME/bin/目录下面cd ES_HOME/bin/service(1)启动服务:./elasticsearch start(2)关闭服务:./elasticsearch stop

11.sqoop
进入安装目录下
首先启动server,再打开shell
开启服务: ./bin/sqoop2-server start
打卡shell: ./bin/sqoop2-shell
查看安装版本: ./bin/sqoop2-tool verify


12.MySql
启动mysql mysql -u root -p
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!