Hadoop学习01_Single Node Setup
目的 本文的目的主要是为了说明如何单点配置hadoop,从而能使用单个节点进行Hadoop MapReduce 和Hadoop Distributed File System (HDFS)运算。 先决条件 平台支持 GNU/Linux 作为开发和生产环境. Hadoop 已经在 GNU/Linux 上验证了 2000 个节点的集群. Win32 也可以作为开发环境. 分布式操作不能再 Win32上进行很好的测试, 所以不能作为生产环境。 必要的软件 无论在Linux 还是在 Windows都需要如下软件: Java TM 1.6.x, 最好使用Sun的，一定要安装. ssh 一定要安装并且 sshd 一定要处于运行状态，从而使Hadoop scripts可以管理远程Hadoop实例(Hadoop daemons). 另外 Windows 环境还需要安装如下软件: Cygwin - 为以上安装的软件提供shell脚本支持. 安装软件 如果你的集群没有安装必要的软件，请安装他们. Ubuntu Linux 的一个例子: $ sudo apt-get install ssh $ sudo apt-get install rsync 在 Windows上, 如果在你安装cygwin的时候你没有安装必要的软件, 开启cygwin安装软件选择如下文件夹: openssh - the Net