Apache Kylin

今天， 大数据已经是每一个公司的战略，越来越多的企业正将相关的数据应用、服务等迁移到大数据平台上。作为中国唯一的Apache 软件基金会顶级开源项目，Apache Kylin在开源后的短短两年内，赢得了国内外100多家公司的生产应用，在Hadoop平台上提供多维分析（OLAP）、数据集市及商务智能分析等能力，作为大数据核心分析平台支撑了诸如用户行为分析，用户画像，交易分析，资产管理分析，自助式分析平台，数据服务平台，实时分析等解决方案。 随着Apache Kylin的深入应用，Kylin集群规模不断扩大，数据存储不断增加，用户访问更加频繁，如何对整个Kylin集群、底层存储、构建任务、Hadoop资源利用等有更多的了解和分析，最大限度的利用相关资源，优化查询性能，提高运行效率，保证应用稳定等逐渐成了Kylin用户群的普遍且急迫的需求。 作为Apache Kylin背后的创业公司，上海跬智信息技术有限公司（Kyligence）今日推出了KyBot云端服务，为Apache Kylin及其商业版KAP提供 在线诊断、优化及服务平台 。KyBot通过分析Kylin的日志等信息，为用户提供可视化仪表盘、系统优化、故障排查、技术支持等服务： 1. 仪表盘： 以可视化的形式展现Kylin系统的相关内容，包括Cube、用户访问情况、查询延迟、任务构建统计、存储等各方面的信息，

7月15日，在Strata北京大数据峰会上，Kyligence联合创始人兼CEO韩卿宣布，Kyligence企业级大数据智能分析产品Kyligence Analytics Platform (KAP)最新版旗舰产品——KAP2.4正式发布。 7月15日，Strata大数据峰会在北京顺利召开。Kyligence联合创始人兼CEO韩卿做了题为《释放大数据生产力》的主题演讲，介绍了在大数据已成为企业核心竞争力的时代，Kyligence如何为企业提供进一步提升生产力的大数据分析平台和技术 ,同时，韩卿宣布Kyligence企业级大数据智能分析产品Kyligence Analytics Platform (KAP)最新版旗舰产品——KAP2.4正式发布。 作为Apache Kylin的企业级产品，KAP为用户提供了更快的性能、更好的设计工具、更多的企业级特性等。本次发布，标志着KAP产品的进一步成熟，且完善了KAP作为Hadoop上的数据仓库等能力。当天，在Kyligence举办的线下活动上，Hadoop之父Doug Cutting发表了题为《Hadoop生态圈的下一个10年》的演讲，介绍了站在十年之际的Hadoop将如何规划下一个10年的发展。同样是在该活动上，韩卿则就Hadoop上的大规模联机分析(OLAP)引擎、中国首个Apache软件基金会顶级开源项目——Apache

在 7 月 12 日的 Kylin Data Summit 上，来自丁香园的周天鹏获得“2019 最佳 Apache Kylin 社区贡献个人奖”，热心的天鹏同学修复了很多 Kylin 与 Tableau 集成的问题。社区小伙伴经常会问起『Tableau Generic JDBC 可以连 Kylin 吗』，终于，天鹏带来了下文为大家揭晓答案。 周天鹏（左三） 喜大普奔~ 喜大普奔~ 都 9102 年了，Tableau（2018.3及以后版本）终于能用自带的 Generic JDBC 驱动连接 Kylin 了。 Tableau Generic JDBC 提前声明，这些对 JDBC 驱动的不断贡献均来自于社区小伙伴。本人只是整理一下不同版本 Kylin JDBC 驱动能和 Tableau 能擦出怎样的火花，仅此而已。 Tableau 官方明确声明对 JDBC 驱动仅做了有限的支持，基本就是这个水平…… 虽然支持了通用 JDBC 驱动，能不能用那可就看你的驱动了。想打印驱动的 Debug 日志信息？不好意思，不支持。 一时间竟无语凝噎。于是决定和 Tableau 拼了，既然它用了 JDBC 驱动，就不信找不到他的相关 Jar 包。果然，在 Tableau 安装路径的 bin 目录下，发现了可疑文件。 # ls -l tabjdbc.jar -rw-r--r-- 1 root root

据悉，领先的智能大数据分析技术及解决方案供应商上海跬智信息技术有限公司（Kyligence）今日宣布正式发布企业级产品KyligenceAnalytics Platform (KAP) 2.1版本。KAP2.1在既有基础上进行了一系列升级、优化和修复。 Kyligence提供Kylin的企业级产品KAP（KyligenceAnalytics Platform）是基于 Apache Kylin 的企业级大数据智能分析平台，在超大规模数据集上提供亚秒级分析能力，为业务用户、分析师及工程师提供简单、快捷的大数据分析服务。在继承 Apache Kylin 的高性能查询，易用建模，多协议支持，非侵入式架构等突出优点的同时，KAP在企业用户所关注的实施效率、安全控制、性能优化、自助式敏捷 BI、系统监控等方面进行了全方位的创新和增强，为企业用户带来更大的价值。 更快更强的KAP2.1 今日，Kyligence正式发布KAP 2.1版本。该版本不仅包含了Apache Kylin最新的功能并修复了大量bug，还全新引入了新组件KyStorage、KyAnalyzer和集成KyBot服务，并在稳定性、易用性等方面有大量改进，进一步降低了企业用户实施落地的复杂度，提升了生产率，产品经过了大量内外部早期客户的验证，稳定可靠。 Kyligence同步发布标准企业版(KAP)和高级企业版(KAP Plus)

在过去，由于粗粒度缓存过期策略和外部缓存的缺乏，查询缓存在 Kylin 中的使用效率不高。由于激进的缓存过期策略，有用的缓存经常被不必要地清理。因为查询缓存存储在本地服务器中，它们因而不能在服务器之间共享。同时，由于本地缓存的大小限制，并不是所有有用的查询结果都可以被缓存。 针对这些不足，我们使用签名检查来实现新的查询缓存失效策略，并引入 memcached 作为 Kylin 的分布式缓存，使 Kylin 服务器能够在服务器之间共享缓存。同时添加 memcached 服务器来扩展分布式缓存也是很容易的。 这些功能由 eBay Kylin 团队提出和开发，在此非常感谢他们的贡献。 相关的 JIRA KYLIN-2895 Refine Query Cache： https://issues.apache.org/jira/browse/KYLIN-2895 KYLIN-2899 Introduce segment level query cache：https://issues.apache.org/jira/browse/KYLIN-2899 KYLIN-2898 Introduce memcached as a distributed cache for queries：https://issues.apache.org/jira/browse/KYLIN-2898 KYLIN