kylin

自己写的定时脚本，用于跑kylin的build方法 et=$[$(date -d "-1 day -2 hour -59 min" +%s%N)/1000000] curl -X PUT -H "Authorization: Basic QURNSU46S1lMSU4=" -H 'Content-Type: application/json' -d '{"endTime":'${et}', "buildType":"BUILD"}' http://master:7070/kylin/api/cubes/cxOrderCube/rebuild et变量是获取最晚时间，因为我这边定时是凌晨三点跑任务，所以是-2，59分 跑出来的结果是毫秒级时间，可直接用于传值 文章来源: linux 运行kylin自动rebuild脚本

Data Warehouse: 数据仓库(DW或DWH),企业数据仓库(EDW),用于生成报告和数据分析的系统; Business Intelligence: 商业智能(BI),包含一系列的技术和工具,用于将原始数据转换为有意义的和有用的信息,用于商业分析; OLAP: 在线分析处理; OLAP Cube: 一个OLAP cube是一组数据,由0或多个维度组成; Star Schema: 星型模型,包含一个或多张事实表,引用多张维度表; Fact Table: 事实表,包含测量指标,度量值或商业处理的事实; Lookup Table: 查找表,在运行计算时替换的数据,依据简单数组索引; Dimension: 一个维度,分类事实和测量指标的结构;用于回答问题;常用的维度是: 人员,产品,地点和时间; Measure: 测量指标,可用于计算的属性,如sum,count,average,minimum,maximum; Join: 联结两个相关的表记录; 来源： https://blog.csdn.net/liangkiller/article/details/102778026

报错情况 java.io.FileNotFoundException: /developer/apache-kylin-2.3.0-bin/tomcat/conf/.keystore (No such file or directory) 解决办法 进入到 Kylin 目录下的 tomact 下 的conf , 然后打开 server.xml 文件 cd /opt/apache-kylin-2.6.4-bin/tomcat/conf vim server.xml 将下图红框部分注释掉即可 来源： https://blog.csdn.net/weixin_40040107/article/details/102772356

一、开篇 二、Apache Kylin是什么？ 三、为什么要使用Apache Kylin？ 四、Apache Kylin的架构 五、Kylin使用案例 六、Kylin + AI展望 七、总结 一、开篇 我这个人有个习惯，每天早上起床刷牙之后要先喝一杯果汁。我只喜欢吃3种水果：苹果、梨、香蕉，所以我每天早上都在纠结是苹果+梨，还是梨+香蕉，还是苹果+梨+香蕉等等。 刚开始只有我一个人还好，早上早起几分钟榨一下挺方便。后面我女朋友也要喝，我就再早起一点，水果多了，榨的时间也变长。后面我岳父岳母也要喝，但我已经不想再早起，于是又买了台榨汁机。 到后面，我爸我妈也要喝。。我不想早起的同时也不想买榨汁机了，因为我觉得后面家里谁要喝还得继续买，承受不起了。 于是我用前面两台普通榨汁机换购了一台多功能榨汁机，这个多功能机器厉害了，我只需要提前一天放好水果，然后定个时，这样它就会把所有水果的果汁榨出来，我们想喝什么再自己混合就行。 这样除非水果种类增加了，因为放水果的槽有限，花费的时间也需要增加。不然无论多少人喝，都是够喝的。虽然占的面积比较大，但能节省我时间和金钱，值得！ 而Apache Kylin与这台多功能榨汁机有异曲同工之妙~ 二、Apache Kylin是什么？ 1.Apache Kylin是一个大数据分析框架，可以理解为进化版的Hive，同时也是 OLAP on Hadoop

1 Kylin 概述 1.1 Kylin定义 Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多个维度分析（MOLAP）能力以支持超大规模数据，它能在亚秒内查询巨大的 Hive 表。 1.2 术语解释 Data Warehouse（数据仓库）：数据仓库是一个各种数据（包括历史数据和当前数据）的中心存储系统，是BI（ business intelligence ，商业智能）的核心部件 Business Intelligence（商业智能）：商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具 OLAP（online analytical processing）：OLAP（online analytical processing）是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的，从各方面观察信息，也就是从不同的维度分析数据，因此 OLAP 也成为多个维度分析 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0HJ5DNxT-1571934654744)(https://oscimg.oschina.net/oscnet/bf3b2155496868c5d12b129ee5774992daa.jpg)] 星型模型：

kylin从入门到实战：实际案例： https://www.cnblogs.com/bigdataer/p/6709783.html （不知道是不是这样理解：Measures添加中必须有COUNT，然后再添加其他的SUM，MIN等等这样不会报错） 来源： https://www.cnblogs.com/wangleBlogs/p/11694285.html

1 前言 在使用Kylin的时候，最重要的一步就是创建cube的模型定义，即指定度量和维度以及一些附加信息，然后对cube进行build，当然我们也可以根据原始表中的某一个string字段（这个字段的格式必须是日期格式，表示日期的含义）设定分区字段，这样一个cube就可以进行多次build，每一次的build会生成一个segment，每一个segment对应着一个时间区间的cube，这些segment的时间区间是连续并且不重合的，对于拥有多个segment的cube可以执行merge，相当于将一个时间区间内部的segment合并成一个。下面开始分析cube的build过程。 2 Cube示例 以手机销售为例，表SALE记录各手机品牌在各个国家，每年的销售情况。表PHONE是手机品牌，表COUNTRY是国家列表，两表通过外键与SALE表相关联。这三张表就构成星型模型，其中SALE是事实表，PHONE、COUNTRY是维度表。 现在需要知道各品牌手机于2010-2012年，在中国的总销量，那么查询sql为： SELECT b.`name`, c.`NAME`, SUM(a.count) FROM SALE AS a LEFT JOIN PHONE AS b ON a.`pId`=b.`id` LEFT JOIN COUNTRY AS c ON a.`cId`=c.`id` WHERE

1 Kylin是什么 今天，随着移动互联网、物联网、AI等技术的快速兴起，数据成为了所有这些技术背后最重要，也是最有价值的“资产”。如何从数据中获得有价值的信息？这个问题驱动了相关技术的发展，从最初的基于文件的检索、分析程序，到数据仓库理念的诞生，再到基于数据库的商业智能分析。而现在，这一问题已经变成了如何从海量的超大规模数据中快速获 取有价值的信息，新的时代、新的挑战、新的技术必然应运而生。 在大数据处理技术领域，用户最普遍的诉求就是希望以很简易的方式从大数据平台上快速获取查询结果，同时也希望传统的商务智能工具能够直接和大数据平台连接起来，以便使用这些工具做数据分析。目前已经出现了很多优秀的SQL on Hadoop引擎，包括Hive、Impala及 SparkSQL等，这些技术的出现和应用极大地降低了用户使用Hadoop平台的难度。 为了进一步满足“在高并发、大数据量的情况下，使用标准SQL查询聚合结果集能够达到毫秒级”这一应用场景，Apache Kylin应运而生，在 eBay孵化并最终贡献给开源社区。Apache Kylin是2013年由eBay 在上海的一个中国工程师团队发起的、基于Hadoop大数据平台的开源 OLAP引擎，它采用多维立方体预计算技术，利用空间换时间的方法，把很多分钟级别乃至小时级别的大数据查询速度一下子提升到了亚秒级别，极大地提高了数据分析的效率

参考: 原理: https://www.cnblogs.com/honey01/p/8351145.html 单机部署: https://www.cnblogs.com/frankdeng/p/9487913.html 来源： https://www.cnblogs.com/hongfeng2019/p/11648723.html

1 Kylin 概述 1.1 Kylin定义 Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多个维度分析（MOLAP）能力以支持超大规模数据，它能在亚秒内查询巨大的 Hive 表。 1.2 术语解释 Data Warehouse（数据仓库）：数据仓库是一个各种数据（包括历史数据和当前数据）的中心存储系统，是BI（ business intelligence ，商业智能）的核心部件 Business Intelligence（商业智能）：商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具 OLAP（online analytical processing）：OLAP（online analytical processing）是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的，从各方面观察信息，也就是从不同的维度分析数据，因此 OLAP 也成为多个维度分析 星型模型： 事实和维度： 1.3 架构 1、REST Server：是一套面向应用程序开发的入口点，旨在实现针对 Kylin 平台的应用开发工作，此类应用程序可以提供查询、获取结果、触发 Cube 构建任务、获取元数据以及获取用户权限等等，另外可以通过 Restful 接口实现 SQL