数据仓库

课程介绍 数据仓库（Data Warehouse）简称DW或DWH，是数据库的一种概念上的升级，可以说是为满足新需求设计的一种新数据库，而这个数据库是需容纳更多的数据，更加庞大的数据集，从逻辑上讲数据仓库和数据库是没有什么区别的。 为企业所有级别的决策制定过程，提供所有类型数据支撑的战略集合，主要是用于数据挖掘和数据分析，以建立数据沙盘为基础，为消灭消息孤岛和支持决策为目的而创建的。 (and薇：ityk8_520) 数据仓库的应用 1.数据分析、数据挖掘、人工智能、机器学习、风险控制、无人驾驶。 2.数据化运营、精准运营。 3.广告精准、智能投放。 随着我们从IT时代步入DT时代，数据积累量也与日俱增，同时伴随着互联网的发展，越来越多的应用场景产生，传统的数据处理、存储方式已经不能满足日益增长的需求。而互联网行业相比传统行业对新生事物的接受度更高、应用场景更复杂， 因此基于大数据构建的数据仓库最先在互联网行业得到了尝试。 高性能高扩展的亿级电商全端实时数据仓库全实现（PC、移动、小程序） ，以热门的互联网电商实际业务应用场景为案例讲解，对电商数据仓库的常见实战指标以及难点实战指标进行了详尽讲解，具体指标包括：每日、月大盘收入报表、高付费用户分析报表、流量域多方位分析、营销域多方位分析、实时排行榜指标分析、用户主题分析、店铺主题时间区间分析等，数据分析涵盖全端（PC、移动、小程序

数据仓库 数据仓库以OLAP类型操作为主，这有别于OLTP类型的操作。 OLTP体现的实时的事务处理，OLAP可以看成是OLTP的历史数据“仓库” OLAP操作上主要体现为： 1）select查询汇总为主，对事务性要求较少 2）对数据快速复制、移动的需求 3）分布式查询的需求。 数据移动 概念 1）数据移动源于数据仓库，它是逻辑对象层面的数据复制, 数据移动有两种引擎： ①ORACLE_LOADER（Sqlload引擎） ②ORACLE_DATAPUMP（数据泵引擎） 两个引擎的区别是：ORACLE_DATAPUMP只能读取由它导出的文件，而ORACLE_LOADER可以读取任何它能解析的第三方文件格式。 ##一般ORACLE_LOADER引擎主要针对txt文件，ORACLE_DATAPUMP主要针对dmp文件 2）数据移动主要包含两个方面内容 ⑴创建外部表的方法，两种引擎都可以生成外部表数据。但用途和方法是不同的。 ①Sqlload引擎生成的外部表是文本格式的，支持跨平台的不同数据库间的数据移动。 ②Data pump引擎生成的外部表是二进制格式的。适用于Oracle 平台的数据库之间快速数据移动。 ⑵数据泵技术(expdp/impdp) 作为替代传统逻辑备份的导入导出，实现数据在逻辑层面的快速复制与恢复 Directory(目录)

实现思思路： 一、项目需求分析 二、阿里云技术构架 三、技术构架 四、系统架构设计 五、业务流程 六、电商表结构 具体实施： 一、业务数据准备 二、缓冲业务数据 三、同步业务数据 主要对比之前做的ETL数据仓库项目，学习一下阿里云数仓方法，顺便了解一下阿里云与相关的大数据产品。借鉴和学习好的方法和思路。 一、项目需求分析 1、实时采集埋点日志数据 2、实时采集业务西数据 3、对采集到的数据进行清洗和处理 4、保存数据到分析型数据库 5、对结果进行可视化展示 二、阿里云技术框架 上面就是阿里云的技术框架与一些D传统的大数据解决方法技术对比。通过对比可以看出，虽然使用的工具有差异，但是大致的框架结构的作用都是大同小异的。 注：RDS:关系型数据库 DTS:(Data Database Server),数据发迁移、数据订阅、数据实时同步于一体的传输服务 三、技术架构 四、系统架构设计 上图为系统的总体设计框架图，通过整体的架构了解到每部分的具体功能以及如何实现的。 五、业务流程 六、电商表结构 上面是部分表的展现，事实表的具体的信息 具体实施： 具体实施是需要购买一些阿里云产品，价格也还比较便宜。由于暂时还未涉及到具体实施，就没有购买，如果感兴趣的可以去自己去实践。 参考：阿里云实时数仓实战 链接： https://edu.aliyun.com/lesson_1966_17204?spm

1.1 现代营销理论的发展历程 1.1.1 从4P到4C 1960年 杰罗姆·麦卡锡（E.Jerome McCarthy) 著作《基础营销》BasicMarketing) 1967年 现代营销之父 菲利普·科特勒 著作《营销原理》 4P product : 注重产品功能，强调独特卖点 price : 根据不同市场定位，制定不同的价格策略 place ：注重分销商的培养和销售网络的建设 promotion ：企业通过改变销售行为来刺激消费者，以短期的行为（如让利、买赠、满减）促成消费的增长，吸引其他品牌的消费者前来消费，或者促使老主顾提前来消费，从而达到销售的目的。 4P理论的核心是Product（产品）。因此，以 4P 理论为核心的企业营销战略又可以简称为 以产品为中心 的营销战略。 随着时代的发展，商品丰富起来，市场竞争也日益激励。传统的4P营销组合已经无法适应商业时代的需求，营销界开始研究新的营销理论和营销要素。最具代表的是4C理论。 4C Consumer 消费者的需求和愿望 Cost 消费者得到满足的成本 Convenience 用户购买的方便性 Communication 与用户的沟通与交流 简称 以消费者为中心 的营销 1.1.2 从4C到3P3C 随着科技的发展，大数据时代的来临，4C理论再次落后。 日益白热化的市场竞争 越来越严苛的营销预算 海量的数据堆积和存储

目录 一、什么是数据仓库 二、数据库vs数据仓库 1、数据库 2、数据库vs数据仓库 三、报表vs数据可视化vs ETL 1、报表 2、数据可视化 3、ETL 四、数仓分析主题 1、数仓主题的含义 2、电商行业数仓核心主题 1)、总体运营主题 2)、网站流量类主题 3)、销售转化类主题 4)、客户价值类主题 5)、商品类主题 6)、市场营销活动指标 7)、风控类指标 8)、市场竞争指标 3、本项目要实现的分析主题 一、什么是数据仓库 概念上：数据仓库，英文名称为Data WareHouse，可简写为DW或DWH。 数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 数据仓库（Data Warehouse）是一个 面向主题的（Subject Oriented）、集成的( Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的 数据集合，用于支持管理、运营决策。 （通俗来说，数仓就是一个数据备份和数据分析的系统） 小提示：反应历史变化的含义 二、数据库vs数据仓库 1、数据库 通常指的是 数据库软件 ，比如mysql，oracle，sqlserver，db2 数据库应用场景1：联机事务处理 数据库软件用的最多的应用场景

数据仓库:Data Warehouse 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support） 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。 数据仓库的主要特征： 面向主题的（Subject-Oriented ） 集成的（Integrated） 非易失的（Non-Volatile） 时变的（Time-Variant ） 数据仓库与数据库的区别： 数据仓库是面向分析的，OLAP；数据库是面向事务的，OLTP。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计。 数据库一般存储业务数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，一般针对某一业务应用进行设计。 数据仓库在设计是有意引入冗余，依照分析需求，分析维度、分析指标进行设计。 附：数据仓库的由来~ 来源： CSDN 作者： ponslee 链接： https://blog.csdn.net/u011110301/article/details/104158529

一，物理模型阶段任务： 0，概念模型 1，拿到逻辑模型 2，将逻辑模型转化为物理模型 3，模型更新管理 4，数据字典发布 二，估计的内容 1， 金钱（硬件，软件，人力等费用） 2，时间（整个项目的起止时间，多个迭代的起止时间） 三，数据仓库架构的层次 数据集市是基于数据仓库建立的。 通常的数据仓库层次：staging,edw,data market（数据集市层），一般EDW采用3NF模型，DM采用星型模型 BI架构师硬技能： 1，数据仓库建模 2，ETL 3，报表平台 4，项目生命周期：wbs 项目计划和各个阶段干什么事，WP 产出 5，项目管理：客户满意度，管钱，管进度等等。。。 6，业务知识 BI架构师软技能： 1，结构化思考能力，就是考虑比较全面，不会漏掉某个部分 2，换位思考能力， 从外部或从企业整体角度考虑问题 3，沟通能力，会问问题 4，领导力 数据仓库精品课程： OLTP（联机事务处理系统）也成为生产系统，它是以事件驱动，面向需求的，比如银行的储蓄系统就是 一个典型的OLTP系统。联机事务处理一直是数据库应用的主流 OLTP的特点： 1，对响应时间要求非常高； 2，用户数量非常庞大，主要是操作人员； 3，数据库的各种操作都是基于索引进行 OLAP(联机分析处理系统) 是基于数据仓库的信息分析处理过程，是数据 仓库的用户接口部分，它是数据驱动，面向分析的

1. 前言 前面三篇讲述了安装MySQL和Hive以及Hive的配置和存储，并通过Shell成功登录了Hive，接下来就可以创建Hive表进行数据操作了。 Hive是一个数据仓库，它可以将结构化的数据文件映射为一张数据库表，并具有SQL语言的查询功能，这里需要再次强调的是对于数据仓库来说，往往存放的是历史数据，他的作用是完成数据的查询分析，而不是完成单条记录的增加、修改和删除操作。 Hive表的创建语法与传统的关系型数据库有很大的相似之处，但是Hive的类型可以更加复杂，比如说可以是数组类型和Map类型。 2. person.txt文件 文件内容如下，一通乱敲： 1 lhd 22 study - study - study std_addr:xian - work_addr:xian 2 lrj 23 study - study - game std_addr:beijing - work_addr:xian 3 gdh 23 game - game - driver std_addr:dalian - work_addr:yantai 3. 创建Hive表 首先，创建一张普通的Hive表，表名为person，包含id、name、age、fav和addr这五个字段，数据类型为int、String、int、String数组和Map<String, String>

什么是数据仓库 数据仓库是面向主题的,集成的,相对稳定的,反应历史变化的数据集合,用于支持企业或组织决策分析处理 OLAP是多维数据库,主要用于多维分析 数据仓库和数据库的区别 数据库是面向事务的,数据由日常产生,存储当前交易数据,一般设计要符合三范式 数据仓库是面向主题的, 数据来源于数据库或文件等,一般存储历史数据, 经过一定的规则转换得到,用来分析的,其设计一般是星型的，有利于查询 数据仓库的基本架构是什么/说一说你整个项目从数据采集到指标、报表的这整个过程是怎么做的 数据源->ETL->数据存储与管理->OLAP->BI工具 数据源:企业的各类信息,包括存放RDBMS关系型数据库中的各种业务处理数据和各类文档数据,市场信息,竞争对手的信息等等 数据存储与管理:这是整个数据仓库的核心,针对各业务系统的数据,进行抽取,清理,并有效集成,按照主题进行组织, 按覆盖范围可分为企业级数仓和部门级数仓 OLAP服务器:对需要的数据进行有效集成,按多维模型组织,以便多角度,多层次分析,并发现趋势,具体可分为: ROLAP:关系型在线分析处理 MOLAP:多维在线分析处理 MOLAP:混合型线上分析处理 模型设计的思路:一是自上而下,一是自下而上 推崇自下而上, 建设数据仓库应该按照实际的应用需求，加载需要的数据，不需要的数据不要加载到数据仓库中 数仓建模的四步: 1.选择业务过程

1. 前言 前面讲了很多关于集群搭建、以及HDFS和MapReduce的基本操作，接下来终于能学习新的内容了。。 Hive本身是数据仓库，那么什么是数据仓库呢？ 数据仓库是为了协助分析报告，支持决策，为需要业务智能的企业提供业务流程的改进和指导，从而节省时间和成本，提高质量。它与数据库系统的区别是，数据库系统可以很好的解决事务处理，实现对数据的“增删改查”操作，而数据仓库则是用来查询分析的数据库，通常不会用来做单条数据的插入、修改和删除。 2. 什么是Hive Hive是基于Hadoop构建的一套数据仓库分析工具，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据。可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；也可以将SQl语句转化为MapReduce任务运行，通过SQl去查询分析需要的内容。这套类SQL简称为HQL，使对MapReduce不熟悉的用户利用HQL语言查询、汇总、分析数据，简化MapReduce代码，从而使用Hadoop集群。而MapReduce开发人员可以把自己写的Mapper和Reducer作为插件来支持Hive做更复杂的数据分析。 3. Hive和数据库的异同 Hive与传统的关系型数据库不同，虽然Hive提供了类SQL的查询语言（Hive Query Language），但是引入HQL的主要目的是为了降低学习成本