大数据分析

2015年，国务院颁布了大数据实施纲要通知《国务院关于印发促进大数据发展行动纲要的通知》，从国家层面上将大数据战略思想逐渐成型。随之，各行各业逐渐意识到海量数据的价值及重要性，分析数据并挖掘其潜在价值的需求不断加大。那么我们今天就来扒一扒：大数据能产生什么价值，值得我们去分析它？ 一、什么是大数据 IDC以4V特征来定义大数据，即海量的数据规模（Volume）、快速的数据流转和动态的数据体系（Velocity）、多样的数据类型（Variety）、巨大的数据价值（Value）；Amazon的John Rauser 将大数据定义为：任何超过了一台计算机处理能力的数据量。可见不同的主体对大数据的定义是不同，但有一个共同点，即数据必须是海量的。 一个人每天可以产生如下社保信息：身份、医保/养老/工伤/失业/生育等各险种的参保信息、财务、薪酬等敏感信息……. 一台工业设备每天可以产生的信息：第一、行为日志。访问信息、发送的控制指令等信息；第二、设备通信日志。包括数据连接建立时间、连接端口、访问外部节点信息、传输数据量等信息；第三、设备异常报警日志。如设备认证失败、异常行为类型等；第四、流量信息及阻断信息。 这些信息每天都在产生，久而久之汇聚成海量的数据，通过不同的终端以各种各样的形式存在。比如，存储于关系型数据库Oracle、PostgreSQL，数据文件XML，Hadoop数据源HDFS等

1. 引言 Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时，Druid仍能够保持100%正常运行。创建Druid的最初意图主要是为了解决查询延迟问题，当时试图使用Hadoop来实现交互式查询分析，但是很难满足实时分析的需要。而Druid提供了以交互方式访问数据的能力，并权衡了查询的灵活性和性能而采取了特殊的存储格式。 2. 功能介绍 Druid功能介于PowerDrill和Dremel之间，它几乎实现了Dremel的所有功能，并且从PowerDrill吸收一些有趣的数据格式。Druid允许以类似Dremel和PowerDrill的方式进行单表查询，同时还增加了一些新特性，如为局部嵌套数据结构提供列式存储格式、为快速过滤做索引、实时摄取和查询、高容错的分布式体系架构等。从官方得知，Druid的具有以下主要特征： 为分析而设计——Druid是为OLAP工作流的探索性分析而构建，它支持各种过滤、聚合和查询等类； 快速的交互式查询——Druid的低延迟数据摄取架构允许事件在它们创建后毫秒内可被查询到； 高可用性——Druid的数据在系统更新时依然可用，规模的扩大和缩小都不会造成数据丢失； 可扩展——Druid已实现每天能够处理数十亿事件和TB级数据。

想体验 数据分析 却没有环境怎么办？数据科学家集成工作台(Data Scientist Workbench)无疑是您最便利的，而且是免费的平台。 数据科学家集成工作台是一个基于开源的云端“一站式”数据科学分析工作平台，囊括了所有主要的开源工具，例如iPython/Jupyter、RStudio、Apache Zeppelin、OpenRefine等。它提供非常友好的即时交互式学习体验，无需任何本地安装，配置等。关于这个平台的更多介绍，请阅读《数据科学家的实验箱－IBMData Scientist Workbench》或访问官网https://datascientistworkbench.cn/。 Jupyter notebooks 为数据科学家提供了一个基于浏览器的交互式分析环境，数据科学家可以使用Python、Scala或者R进行交互式的开发，来设计分析模型， 可视化展现分析 结果。Notebooks也使得分析过程可以被保存、导入、导出和共享。 接下我们一起看看如何在数据科学家集成工作台的Jupyter Notebooks进行 数据分析 ： 1. 访问https://datascientistworkbench.cn/网站，免费注册一个账号。 2. 第一次登录，后台将自动创建服务实例。创建完成后请打开Jupyter Notebook，即可开始使用交互式的学习环境进行数据分析： 3

Ibis: Scaling the Python Data Experience Ibis 0.5 (September 10, 2015) Ibis 0.5.0 is released. Read all about it Please also sign up for the mailing list . What is Ibis? Ibis is a new Python data analysis framework with the goal of enabling data scientists and data engineers to be as productive working with big data as they are working with small and medium data today. In doing so, we will enable Python to become a true first-class language for Apache Hadoop, without compromises in functionality, usability, or performance. Having spent much of the last decade improving the usability of the

1、Spark是什么？ ○ 高可伸缩性 ○ 高容错 ○ 基于内存计算 2、Spark的生态体系（BDAS，中文:伯利克分析栈） ○ MapReduce属于Hadoop生态体系之一，Spark则属于BDAS生态体系之一 ○ Hadoop包含了MapReduce、HDFS、HBase、Hive、Zookeeper、Pig、Sqoop等 ○ BDAS包含了Spark、Shark（相当于Hive）、BlinkDB、Spark Streaming（消息实时处理框架,类似Storm）等等 ○ BDAS生态体系图： 3、Spark与MapReduce 优势： ○ MapReduce通常将中间结果放到HDFS上，Spark是基于内存并行大数据框架，中间结果存放到内存，对于迭代数据Spark效率高。 ○ MapReduce总是消耗大量时间排序，而有些场景不需要排序，Spark可以避免不必要的排序所带来的开销 ○ Spark是一张有向无环图（从一个点出发最终无法回到该点的一个拓扑），并对其进行优化。 4、Spark支持的API Scala、Python、Java等 5、运行模式 ○ Local （用于测试、开发） ○ Standlone （独立集群模式） ○ Spark on Yarn （Spark在Yarn上） ○ Spark on Mesos （Spark在Mesos） 6、运行时的Spark

大数据分析： 大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）。 大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。 大数据分析的六个基本方面： 1. Analytic Visualizations（可视化分析） 　　不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。 2. Data Mining Algorithms（数据挖掘算法） 　　可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。 3. Predictive Analytic Capabilities（预测性分析能力） 　　数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。 4. Semantic Engines（语义引擎） 　　我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取