Bolt

一、静态数据和流数据 静态数据：为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。 流数据：以大量、快速、时变的流形式持续到达的数据。（例如：实时产生的日志、用户实时交易信息） 流数据具有以下特点： (1)、数据快速持续到达，潜在大小也许是无穷无尽的。 (2)、数据来源众多，格式复杂。 (3)、数据量大，但是不十分关注存储，一旦经过处理，要么被丢弃，要么被归档存储(存储于数据仓库)。 (4)、注重数据的整体价值，不过分关注个别数据。 (5)、数据顺序颠倒，或者不完整，系统无法控制将要处理的新到达的数据元素的顺序。 在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。然后对DB中的数据进行处理。 流计算：为了实现数据的时效性，实时消费获取的数据。 二、批量计算和流计算 批量计算：充裕时间处理静态数据，如Hadoop。实时性要求不高。 流计算：实时获取来自不同数据源的海量数据，经过实时分析处理，获得有价值的信息(实时、多数据结构、海量)。 流计算秉承一个基本理念，即数据的价值随着时间的流逝而降低，如用户点击流。因此，当事件出现时就应该立即进行处理，而不是缓存起来进行批量处理。流数据数据格式复杂、来源众多、数据量巨大，不适合采用批量计算，必须采用实时计算，响应时间为秒级，实时性要求高。批量计算关注吞吐量，流计算关注实时性。 流计算的特点： 1、实时

已经看了大数据相关知识一阵时间了，自己也是从新手开始的，所以看了大量的大数据如何入门的技术博客、帖子等，下面记录总结下自己学习的内容。 一、大数据学习前期知识储备 在学习大数据前，需要对云计算、虚拟化、Linux、JAVA这几个方面都需要了解，下面简单阐述下这几个方面的概念。 1.云计算 所谓的云计算，指的就是把你的软件和服务统一部署在数据中心，统一管理，从而实现高伸缩性。 云计算的部署方式 从部署方式来说，总共有两类云计算： 私有云：数据中心部署在企业内部，由企业自行管理。微软为大家提供了Dynamic Data Center Toolkit，来方便大家管理自己的数据中心。 公共云：数据中心由第三方的云计算供应商提供，供应商帮助企业管理基础设施（例如硬件，网络，等等）。企业将自己的软件及服务部属在供应商提供的数据中心，并且支付一定的租金。Windows Azure正是这样一个公共云平台。 云计算的运营方式 从运营方式来说，总共有三类云计算： 软件即服务（SaaS）：云计算运营商直接以服务的形式供应软件，供最终用户使用。有些服务还提供了SDK，从而使得第三方开发人员可以进行二次开发。在这种运营模式下，开发人员通常只能针对现有的产品开发插件，而无法充分挖掘平台和操作系统的特点，不过他们可以在现有产品的基础上添加新的功能，而不必从头开始实现。微软的Bing，Windows Live