ods

一、oracle日志模式分为（logging，force logging，nologging） 默认情况是logging，就是会记录到redo日志中，force logging是强制记录日志，nologging是尽量减少日志。FORCE LOGGING可以在数据库级别、表空间级别进行设定、而LOGGING与NOLOGGING可以在表级别设定。 注：FORCE LOGGING并不比一般的LOGGING记录的日志多,数据库在FORCE LOGGING状态下,NOLOGGING选项将无效,因为NOLOGGING将破坏DATAGUARD的可恢复性.FORCE LOGGING强制数据库在任何状态下必须记录日志。 logging，force logging和nologging是只记录到redo日志中，归档不归档是另外的设置，但是如果用nologging了，那么显然就算归档的话，归档日志就少了，但是可能不能用于介质回复了，因为有些根本没有记录。 二、使用情况 1.logging模式 这是日志记录的缺省模式，无论数据库是否处于归档模式，这并不改变表空间与对象级别上的缺省的日志记录模式。 对于临时表空间将不记录日志到联机重做日志文件。 2.nologing模式 此模式不是不记录日志，而是最小化日志产生的数量，通常在下列情况下使用NOLOGGING nologing模式通常和append联合使用。

0504-数仓搭建 第一章 ODS层 1.1 创建表 1.2 加载数据 1.3 ODS层加载数据脚本 第二章 DWD层 2.1 数据解析 2.1.0 字段分析 2.1.1 解析公共字段 UDF 2.1.2 解析具体事件字段 UDTF 2.2 基础明细表 2.2.1 启动日志基础明细表 2.2.2 事件日志基础明细表 2.2.3 DWD层基础明细数据解析脚本 2.3 具体事件表 2.3.1 商品点击表 2.3.2 商品详情表 2.3.3 商品列表详情表 2.3.4 广告表 2.3.5 消息通知表 2.3.6 用户前台活跃表 2.3.7 用户后台活跃表 2.3.8 评论表 2.3.9 收藏表 2.3.10 点赞表 2.3.11 启动日志表 2.3.12 错误日志表 2.3.13 DWD层数据加载脚本 2.4 小结 2.4.1 UDF 2.4.2 UDTF 2.4.3 一些工具类 2.4.4 列转行 lateral view 2.4.5 Hive系统函数 get_json_object 第三章 DWS层 3.1 用户活跃 3.1.1 每日活跃设备明细 3.1.2 每周活跃设备明细 3.1.3 每月活跃设备明细 3.1.4 脚本 3.2 用户新增 3.2.1 每日新增用户明细 3.2.2 脚本 3.3 用户留存 3.3.0 留存概念 3.3.1 每日留存用户明细 3.3.2 1,2,3

1. 引言 本篇主要讲述操作数据存储（ODS）系统产生的背景、定义、特点，以及它与数据仓库的区别。 在前两篇，笔者介绍了什么是数据仓库？为什么需要数据仓库？数据仓库系统的体系结构是什么？因此可能在读者心里已经形成了企业数据存储的DB~DW两层体系结构的概念，但在实际应用中，并不总是这样，有时候我们可能需要ODS这一系统来搭建DB~ODS~DW三层数据体系，那么什么是ODS？为什么需要ODS？ODS与DW的区别又是什么？下面将在第2-6节介绍ODS的理论知识，在第7节以电信运营商为例介绍ODS的实际应用。由于是学习心得，如有错误或者不严谨的地方，希望读者批评指正。 2. ODS产生的背景 人们对数据的处理行为可以划分为操作型数据处理和分析型数据处理，操作型数据处理一般放在传统的 数据库 ( Database,DB )中进行，分析型数据处理则需要在 数据仓库 ( Data Warehouse,DW )中进行。但是并不是所有的数据处理都可以这样划分，换句话说，人们对数据的处理需求并不只有这两类，比如，有些操作型处理并不适合放在传统的数据库上完成，也有些分析型处理不适合在数据仓库中进行。这时候就需要第三种数据存储体系， 操作数据存储 ( Operational Data Store,ODS )系统就因此产生。它的出现，也将 DB~DW 两层数据架构转变成 DB~ODS~DW 三层数据架构。

ETL讲解 ETL讲解（很详细！！！） ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(Operational Data Store，操作型数据存储)中——这个过程也可以做一些数据的清洗和转换)，在抽取的过程中需要挑选不同的抽取方法，尽可能的提高ETL的运行效率。ETL三个部分中，花费时间最长的是“T”(Transform，清洗、转换)的部分，一般情况下这部分工作量是整个ETL的2/3。数据的加载一般在数据清洗完了之后直接写入DW(Data Warehousing，数据仓库)中去。 　　ETL的实现有多种方法，常用的有三种。一种是借助ETL工具(如Oracle的OWB、SQL Server 2000的DTS、SQL Server2005的SSIS服务、Informatic等)实现，一种是SQL方式实现，另外一种是ETL工具和SQL相结合。前两种方法各有各的优缺点

ods html body = 'D:\sas\text.html' ; *创建一个 text . html ,将结果输出到这个文件里，可以创建多个; proc print data = clinic . admit ; run ; *默认会弹出 HTML 和输出（ list ）; ods html close ; *将 ods destination 关闭; ods listing close ; *将默认输出 listing 关闭; ods listing ; *打开; ods html file = 'D:\sas\text1.html' ; *创建. html ,如果已经创建，则添加在后面, file = body ; ods pdf file = 'D:\sas\test.pdf' ; proc print data = clinic . admit2 ; run ; ods _all_ close ; *对于打开了多个 ods destination 的话， all 全部关闭; ods listing ; ods listing close ; ods html file = 'D:\sas\TEST2.HTML' ; proc print data = clinic . admit3 ; var id name sex ; run ; ods html close ;

OPTIONS LS=MAX PS=MAX NOCENTER USER='.\00@Data'; PROC PRINT DATA=OpenDate; RUN; ODS LISTING GPATH='.\01@PIC'; ODS GRAPHICS ON /WIDTH=8000PX HEIGHT=700PX; ODS GRAPHICS /IMAGENAME='01@01_openDate'; PROC SGPLOT DATA=OpenDate; VBAR Date /Response=Numaccts; RUN; ODS GRAPHICS OFF;

数据层的存储一般如下： Data Source 数据源一般是业务库和埋点，当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是Mysql 和 PostgreSql。 ODS 层 ODS 的数据量一般非常大，所以大多数公司会选择存在HDFS上，即Hive或者Hbase，Hive居多。 可将ODS做成一个宽表，结合DW事实表与维度表或更多信息。 DW 层 一般和 ODS 的存储一致，但是为了满足更多的需求，也会有存放在 PG 和 ES 中的情况。 一般DW曾进行维度、事实表设计；根据不同主题设计维度表与事实表。 APP 层 应用层的数据，一般都要求比较快的响应速度，因此一般是放在 Mysql、PG、Redis中。 一般DH曾，数据集市，针对不同用户，实现数据隔离。存储聚合数据。 来源： https://www.cnblogs.com/xibuhaohao/p/11718889.html

flume自定义拦截器：实现Interceptor接口 flume自定义source：继承AbstractSource flume自定义sink：继承AbstractSink azkaban:任务调度工具。正常使用即可 任务调度，定时执行，任务之间的依赖 sqoop:数据导入导出工具 将关系型数据库当中的数据导入到大数据平台 import 将大数据平台的数据导出到关系型数据库 export 导入mysql数据到hdfs上面去，指定字段之间的分隔符，指定导入的路径 -m 定义多少个mapTask来导入数据 100GB的数据，定义多少个mapTask比较合适 10-30个，大概运行在半个小时以内要结束掉。 增量导入有三个选项 一般都是借助 --where条件来实现，或者使用--query来实现 实际工作当中，每个表一般都维护三个字段，create_time ,update_time ,is_deleted 实际工作当中，基本上都是做假删除 根据update_time可以获取每天的更新的数据或者插入的数据 如果数据发生变化，数仓当中一个人 存在多条数据，怎么办？？？ 减量的数据怎么办？？ 转化成为更新的数据来操作 datax：也是数据导入导出工具 通过Java代码远程执行linux的命令 sshxcute.jar 点击流日志数据分析：主要是分析nginx的日志数据 点击流日志模型：