大数据技术原理与应用之【大数据处理架构Hadoop】习题
1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系 答: Hadoop的核心是分布式文件系统HDFS和MapReduce,HDFS是谷歌文件系统GFS的开源实现,MapReduces是针对谷歌MapReduce的开源实现。 2.试述Hadoop具有哪些特性。 答: 高可靠性,高效性,高可扩展性,高容错性,成本低,运行在Linux平台,支持多种编程语言 3.试述Hadoop在各个领域的应用情况。 答:2007年,雅虎在Sunnyvale总部建立了M45——一个包含了4000个处理器和1.5PB容量的Hadooop集群系统; Facebook主要将Hadoop平台用于日志处理,推荐系统和数据仓库等方面; 百度主要使用Hadoop于日志的存储和统计、网页数据的分析和挖掘、商业分析、在线数据反馈、网页聚类等。 4.试述Hadoop的项目结构以及每个部分的具体功能。 答: Commeon 是为Hadoop其他子项目提供支持的常用工具,主要包括文件系统、RPC和串行化库。 Avro 是为Hadoop的子项目,用于数据序列化的系统,提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持续性数据的文件集、远程调用的功能和简单的动态语言集成功能。 HDFS 是Hadoop项目的两个核心之一,它是针对谷歌文件系统的开源实现。 HBase 是一个提高可靠性、高性能、可伸缩