超人学院

Storm里面引入DRPC主要是 利用 storm 的实时计算能力来并行化CPU 密集型（CPU intensive ）的计算任务 。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。 DRPC其实不能算是storm本身的一个特性， 它是通过组合storm的原语stream、spout、bolt、 topology而成的一种模式(pattern)。本来应该把DRPC单独打成一个包的， 但是DRPC实在是太有用了，所以我们我们把它和storm捆绑在一起。 概览 Distributed RPC是由一个” DPRC 服务器 ”协调(storm自带了一个实现)。 DRPC 服务器协调：① 接收一个RPC 请求 ② 发送请求到storm topology ③ 从storm topology 接收结果 ④ 把结果发回给等待的客户端 。从客户端的角度来看一个DRPC调用跟一个普通的RPC调用没有任何区别。比如下面是客户端如何调用RPC计算“reach”功能（function）的结果，reach方法的参数是: http://twitter.com 。 DRPCClient client = new DRPCClient("drpc-host", 3772); String result = client.execute("reach"

超人学院就业班4期学员，第一份大数据工作半年后跳槽，之前是13K月薪，跳槽后月薪飙升到20k，另外，令人羡慕的还有公司股票，超人学院Hadoop大数据就业班学员就是这么牛。亲们，还等什么呢，赶快报名参加超人学院Hadoop大数据高薪就业班培训，下一个高薪就业明星就是你！！！ 更多就业资讯请关注： http://bbs.superwu.cn 关注超人学院微信二维码： 来源： oschina 链接： https://my.oschina.net/u/2273204/blog/416584

超人学院第七期三位学员，在学完课程后，不到一个月，分别找到高薪工作，这就是超人学院的实力，我们不讲故事，只讲事实，超人学院真正培养大数据高薪就业的培训机构。超人学院第九期火爆招生中，亲，下一个爆料的就是你，还等什么，赶快报名吧！！ http://www.crxy.cn/course/job9 关注超人学院微信二维码： 来源： oschina 链接： https://my.oschina.net/u/2273204/blog/497297

想知道如何让薪资翻倍吗，想知道高薪的秘密吗，想知道如何学习大数据课程吗，小伙伴们，本周六晚， 超人学院 五期就业班学员将为你揭秘你想知道的问题，赶快报名超人学院腾讯课堂吧，更多精彩内容等你看！！点击链接即可报名成功！！ http://ke.qq.com/cgi-bin/courseDetail?course_id=67486 关注超人学院微信二维码： 来源： oschina 链接： https://my.oschina.net/u/2273204/blog/411182

超人学院诞生第2位年薪过50万的就业班学员，该学员参加了第六期超人学院高薪就业班，原来是年薪20多万，现在年薪过50W，恭喜这位同学，30多岁才是学习大数据的黄金时期！亲们，还等什么，快来加入超人学院高薪就业大家庭，高薪就业不再是梦想。 更多高薪就业精彩内容请关注： http://bbs.superwu.cn 关注超人学院微信二维码： BJ-CRXY 来源： oschina 链接： https://my.oschina.net/u/2273204/blog/416201

超人学院大数据高薪就业班第七期火爆招生中，随着技术的不断更新，我们的课程也不断升级，让学员可以掌握最新的技术。团体报名还可享受每人立减1000元学费的优惠，三人及三人以上即可报团学习。零学费入学，让学生免去学费的后顾之忧。 选择超人学院的十大理由： 高薪就业 我们设计课程的出发点是高薪就业，一切围绕着高薪就业。 系统教学 针对招聘需求的技能要求设计课程，保证轻松面试和轻松工作。 升级课程 课程内容每一期都有升级，保证学习到最新最贴近实际的技术。 在线学习 在线学习是大势所趋，足不出户，就可以学习到最尖端最前沿的课程。 实时授课 我们不是发放录制的视频，而是老师实时讲课，可以和老师随时互动。 终身教育 一次缴费，终身享受该课程的所有升级内容，无需额外缴费。 保证就业 可以签署就业协议，保证找到高薪工作。 人脉圈子 所有学习过的学员都汇集在一起，组成了强大的人脉圈子，现在已经有近1000 人的学员，分布在各个城市的大数据公司，这是最宝贵的资源。 以人为本 我们培训关注的是学员的职业发展，而不纯粹是某门技术的培训，不仅让学员学会技术，而且在工作中可以持续快速发展。 扶君上马送君一程 在超人学院学习仅仅是一个开始，在学习结束有就业指导和就业推荐。当您刚刚进入工作岗位时，工作中遇到问题可以咨询我们的讲师，我们也会帮你顺利度过入职后工作中遇到的难关。 就业学员好评如潮，培训机构好不好，不看宣传

本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。 实验环境搭建 在进行后续操作前，确保下列条件已满足。 1. 下载spark binary 0.9.1 2. 安装scala 3. 安装sbt 4. 安装java 启动spark-shell 单机模式运行，即local模式 local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOME MASTER=local bin/spark-shell "MASTER=local"就是表明当前运行在单机模式 local cluster 方式运行 localcluster模式是一种伪cluster模式，在单机环境下模拟standalone的集群，启动顺序分别如下 1. 启动master 2. 启动worker 3. 启动spark-shell master $SPARK_HOME/sbin/start-master.sh 注意运行时的输出，日志默认保存在$SPARK_HOME/logs目录。 master主要是运行类 org.apache.spark.deploy.master.Master ， 在8080端口启动监听，日志如下图所示 修改配置 1. 进入$SPARK_HOME/conf目录 2. 将spark-env.sh.template重命名为spark-env.sh

超人学院大数据高薪就业班第七期火爆招生中，新的一期，内容部不断增加，还有更多优惠呦，精彩内容抢先看： 1、Linux课程：如果你没有使用过Linux，别担心，本内容让你轻松入门，讲解Linux基础操作，这是Hadoop学习的基础。 2、Hadoop2课程： （1）、搭建伪分布式实验环境：本节课程属于入门级别，主要讲述在linux单机上搭建Hadoop的伪分布式，在Linux集群上面安装Hadoop集群。 （2）、介绍HDFS体系结构及shell、java操作方式：HDFS是Hadoop的核心之一，hdfs是Hadoop操作的基础，在本节学习中，我们会讲述hdfs的体系结构，以及使用shell、java不同方式对hdfs的操作。也会讲解hdfs的源代码，方便学员以后对Hadoop源码进行修改。最后，还要讲解Hadoop的RPC机制，这是Hadoop运行的基础，本节内容特别重要。 （3）、介绍mapreduce体系结构及各种算法（1）：mapreduce是Hadoop的核心，是以后各种框架运行的基础，这是必须掌握的。掌握mapreduce执行的详细过程，还讲解Hadoop的序列化机制和数据类型，并使用自定义类型实现电信日志信息的统计。 （4）、介绍mapreduce体系结构及各种算法（2）：讲解旧api的用法、计数器、combiner、partitioner、排序算法、分组算法等。 3

（要让集群正常工作至少需要 3 个主节点，在这里我们要创建 6 个 redis 节点，其中三个为主节点，三个为从节点，对应的 redis 节点的 ip 和端口对应关系如下） 192.168.1.160:7000 192.168.1.160:7001 192.168.1.160:7002 192.168.1.160:7003 192.168.1.160:7004 192.168.1.160:7005 1 ：下载 redis 。官网下载 3.0.0 版本，之前 2. 几的版本不支持集群模式 下载地址： http://download.redis.io/releases/redis-3.0.0.tar.gz 2 ：上传服务器，解压，编译 tar -zxvf redis-3.0.0.tar.gz mv redis-3.0.0.tar.gz redis3.0 cd /usr/local/redis3.0 make make install 3 ：创建集群需要的目录 mkdir -p /usr/local/cluster cd /usr/local/cluster mkdir 7000 mkdir 7001 mkdir 7002 mkdir 7003 mkdir 7004 mkdir 7005 4 ：修改配置文件 redis.conf cp /usr/local/redis3.0/redis

大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。下面的图来自 http://horicky.blogspot.com/2008/11/hadoop-mapreduce-implementation.html ，是我看到的讲MapReduce最好的图。 以Hadoop带的wordcount为例子（下面是启动行）： hadoop jar hadoop-0.19.0-examples.jar wordcount /usr/input/usr/output 用户提交一个任务以后，该任务由JobTracker协调，先执行Map阶段（图中M1，M2和M3），然后执行Reduce阶段（图中R1和R2）。Map阶段和Reduce阶段动作都受TaskTracker监控，并运行在独立于TaskTracker的Java虚拟机中。 我们的输入和输出都是HDFS上的目录（如上图所示）。输入由InputFormat接口描述，它的实现如ASCII文件，JDBC数据库等，分别处理对于的数据源，并提供了数据的一些特征。通过InputFormat实现，可以获取InputSplit接口的实现，这个实现用于对数据进行划分