Hadoop cluster on Cubieboards
hadoop 是一个 分布式系统 基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个 分布式文件系统 (Hadoop Distributed File System),简称HDFS。HDFS有着高 容错性 的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问 应用程序 的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。 我用8块A10搭建了一个集群,经过测试性能还是很不错的。去官网看 hadoop ,这里还有一些高清的 大图 。打算在上面做一些应用:HDFS写读文件,mapreduce并行计算,hadoop编程.....感兴趣的朋友可以自己搭建一个简单的集群,单机版,双核版都可以,下面有些资源: 1. Hadoop-CB 定制 镜像文件 。 这个适用于 CB-A10 ,集成了集群搭建需要的 JDK 和 Openssh, 其中 JDK 的路径为 exportJAVA_HOME=/lib/jdk 。 2. Hadoop 软件下载 hadoop 0.20