Apache Kylin

Python的IDE有很多，其中最受欢迎的是PyCharm PyCharm支持Windows，Mac ，Linux 下面介绍的是Linux安装PyCharm的详细教程 1.进入pycharm官网下载pycharm的linux版本 官网链接: www.jetbrains.com 官网下载链接: http://www.jetbrains.com/pycharm/download/download-thanks.html?platform=linux 2.cd 到pycharm的下载目录里,pycharm的下载包是tat.gz格式的,使用以下命令解压 $ tar -zxvf pycharm-professional-2017.1.tar.gz /home/kylin/download 3.解压完成后,cd到pycharm的解压文件夹里的bin文件夹里. $ cd /home/kylin/download/pycharm-professional-2017.1/bin 4.在该文件夹下输入一下命令打开pycharm $ sh ./pycharm.sh 5.安装选项 如果你需要导入之前安装版本的设置的话，可以选择第一个选项,如果没有的话，默认不导入设置就可以了 单击同意 然后激活pycharm就可以使用了 6.激活pycharm的方法. 　server选项里边输入 http:/

导读： 目前我国大数据产业发展已步入行业规模快速增长时期，随着 “ 新基建 ” 越来越受重视，大数据产业也将迎来发展新机遇。今天，小编带大家了解一些热门的大数据技术，以及一些硬核好书。 来源：华章计算机（hzbook_jsj） 目前我国大数据产业发展已步入行业规模快速增长时期， 随着云时代的来临，大数据技术将具有越来越重要的战略意义。大数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产要素，人们对于海量数据的运用将预示着新一轮生产率增长和消费者盈余浪潮的到来。大数据分析技术将帮助企业用户在合理时间内攫取、管理、处理、整理海量数据，为企业经营决策提供积极的帮助。大数据分析作为数据存储和挖掘分析的前沿技术，广泛应用于物联网、云计算、移动互联网等战略性新兴产业。 大数据 在 用户画像建模 、 个性化推荐 与 精准营销 中 的应用占比越来越大。在众多数据分析方法中， 用户画像 几乎是后期数据工作的“标配”，适用于应用层的个性化推荐、精准营销、客群管理和运营等各个场景。用户画像是数据分析和算法工程都无法绕过的话题，小编为大家推荐 《用户画像：方法论与工程化解决方案》 。 赵宏田 著 这是一 本从技术、产品和运营3个角度讲解如何从0到1构建一个用户画像系统的著作，同时它还为如何利用用户画像系统驱动企业的营收增长给出了解决方案。 书 中手把手教授工程实现、模型搭建、应用场景等内容

MyBatis:是一个支持普通sql查询和存储过程以及高级映射的优秀持久层框架,其主要思想是将代码中大量的SQL语句剥离出来,配置到配置文件中,以实现SQL的灵活配置. mybatis架构: 　　1.核心配置文件mybatis-config.xml 　　　　　　配置一些共用的全局配置东西 　　　　　　　　数据源,缓存,日志,配置mapper文件路径,等等 　　2.映射文件XXXMapper.xml 　　　　配置sql语句,输入参数类型 返回结果集类型 　　3.SqlSessinoFactory(会话工厂) 　　　　通过加载核心配置文件的内容来创建会话(sqlSession) 　　4.sqlSession(会话) 　　　　通过会话中的方法来调用映射文件中的sql语句,就相当于可以执行sql语句 　　5.Executor执行器(MyBatis框架内部的东西,框架会自动调用) 　　　　分基本执行器和缓冲执行器 　　　　当我们执行SqlSession的时候,框架内部就会自动调用Executor 　　6.MapperStatement: 　　　　内部封装对象 　　　　抽取映射文件xml中的内容(原本是string字符串) 　　　　抽取当中的sql语句,参数 返回集 转换成相对应的java对象 使用步骤: 　　入门案例:查询表中的某条数据　 　　1.导入jar包 　　2.配置核心配置文件 　

1 背景 对于数据开发人员来说，手写sql是比较熟悉的了，就有这样一道题，面试时需要手写sql，这就是非常经典的连续登录问题，大厂小厂都爱问，这种题说简单也不简单，说难也不难，关键是要有思路。 2 真题 hql统计连续登陆的三天及以上的用户 这个问题可以扩展到很多相似的问题：连续几个月充值会员、连续天数有商品卖出、连续打车、连续逾期。 数据提供 用户ID、登入日期 user01,2018-02-28 user01,2018-03-01 user01,2018-03-02 user01,2018-03-04 user01,2018-03-05 user01,2018-03-06 user01,2018-03-07 user02,2018-03-01 user02,2018-03-02 user02,2018-03-03 user02,2018-03-06 输出字段 +---------+--------+-------------+-------------+--+ | uid | times | start_date | end_date | +---------+--------+-------------+-------------+--+ 3 群内讨论 这道题在群里发出后，大家就展开了激烈的讨论： 4 解决方案 可以看出来，有很多种不同的解决方案。

DMHS单机实时同步（DM7） 前言 DMHS 支持的操作系统平台：Windows 系列（包括 XP、Win2003、Win7/8/10、WinServer2008等），Linux（Redhat、Ubuntu、CentOS、Kylin、Rocky 等）、Aix、Solaris 等。内存要求：DMHS 需要的内存总量取决于执行的分析线程以及执行线程的并发数，最少需要 1G 内存。磁盘需求：DMHS 安装文件占用 277M，包括了管理工具以及管理界面占用的空间，另外需要一些额外的空间存储 DMHS 运行的日志文件。操作系统权限：在 Windows 安装时，安装和执行 DMHS 的用户必须是管理员身份；在 Linux 平台下安装，安装用户必须有权限读写 DMHS 安装目录，将涉及的数据库接口动态库添加到系统共享库环境变量中。TCP/IP：配置系统支持 TCP/IP 服务（DMHS 安装的所有机器必须配置主机名或者 IP 地址）。DMHS 需要使用以下 TCP/IP 端口：管理进程间通信的默认端口 5345；发送和执行子系统之间通信的默认端口 5346；用户可以自行定义这些端口。 dmhs.hs配置文件可以移动到bin2目录下进行配置，因为bin2目录是debug版本，出错容易排查，启动服务也可在bin2目录下。 一、开启归档和逻辑日志 1.1 设置归档标记和逻辑日志标记。打开 DM7

davinci默认的数据源驱动配置文件中，只配置了mysql和oracle。但是jar只有mysql的驱动jar包，所以默认davinci只支持连接mysql数据源。 一、修改数据源驱动配置文件 (1)进入davinci安装目录中的config文件夹 cd $DAVINCI3_HOME/config (2)修改数据源驱动配置模板 mv datasource_driver.yml.example datasource_driver.yml (3)编辑数据源驱动，并追加内容(支持kylin和impala数据源) vi datasource_driver.yml #kylin: # name: kylin # desc: kylin # driver: org.apache.kylin.jdbc.Driver # keyword_prefix: \" # keyword_suffix: \" # alias_prefix: \" # alias_suffix: \" #impala: # name: impala # desc: impala # driver: com.cloudera.impala.jdbc41.Driver # keyword_prefix: \" # keyword_suffix: \" # alias_prefix: \" # alias_suffix: \"

Apache Kylin安装文档 Kylin安装 Kylin使用案例 1. Kylin安装 使用FTP工具上传apache-kylin-2.5.1-bin-hbase1x.tar.gz压缩包到node01的 opt/software 目录下 解压上一步上传的压缩包 opt/module 下 tar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz -C /opt/module 进入 opt/module 目录，更改apache-kylin-2.5.1-bin-hbase1x目录名字 mv pache-kylin-2.5.1-bin-hbase1x kylin-2.5.1 此时 opt/module 目录结构如下 进入到 kylin-2.5.1 目录，查看kylin的目录结构 进入 conf 目录，将 kylin.properties.template 改成 kylin.properties ,命令： mv kylin.properties.template kylin.properties 编辑 kylin.properties 文件,添加以下内容 # 下面的node01是你的主机名，我将kylin装在了第一个节点上，需要根据你的主机名更改 kylin.server.cluster-servers = node01:7070 kylin

​导语 | 为了满足贝壳日益复杂、多样化业务场景下的多维数据分析需求，贝壳 OLAP 平台经历了从早期基 于Hive+MySQL 原始阶段，到基于 Kylin单一引擎的平台化建设，再到支持多种不同OLAP引擎的灵活架构的发展历程。本文是对贝壳找房数据智能中心资深研发工程师——肖赞在云+社区沙龙online的分享整理，希望与大家一同交流。 点击查看完整直播回放 一、贝壳业务背景介绍 贝壳找房的定位是科技驱动的新居住平台，提供涵盖二手房、新房、租赁、装修和社区服务多元化居住服务。贝壳找房聚合居住垂直品类服务商，提供全方位的品质居住服务，有三亿家庭用户，被认为是房产类的淘宝，很多品牌和开发商都入住了贝壳找房的平台。 贝壳找房推动了房产服务这个传统行业转向互联网化的过程，一方面要求业务运营日趋精益化，另一方面数据驱动角色的需求也不断增强。 贝壳找房的业务模式比较复杂，涉及到二手房、新房、装修、租赁等不同方向。这也给整个 OLAP 平台数据分析方面带来了很多挑战，比如如何更好的支持不同复杂业务场景下的需求。 二、OLAP 平台架构演化历程 OLAP 平台的架构发展大致可以分为三个阶段，第一个阶段是 2015 年到 2016 年链家网的时代，它是初期从无到有的阶段。第二个阶段是从 2016 年到 2019 年初，这个阶段是基于 Apache Kylin 构建的 OLAP 平台建设阶段。从

最近项目接触到国产飞腾服务器，搭载的是我们国家自主的银河麒麟操作系统，系统自带Qt5.6，只有widget那套框架，没有QML也没有QCharts，因此尝试重新编译一个较新和稳定的Qt版本，所以选择了Qt5.9. 在此记录一下， 以便将来再用。Qt源码内的README文档已经把编译安装步骤写得很详细，出了问题第一时间对照文档是否有遗漏或疏忽。 一、 准备工作 1、官网下载Qt源码，Qt Creator源码。 http://download.qt.io/archive/qt/5.9/5.9.2/single/ http://download.qt.io/official_releases/qtcreator/4.5/4.5.0/ 2、官网下载zlib库 http://www.zlib.net/ 3、确保系统的gcc，g++， python， perl等符合Qt安装要求,具体请参见Qt源码内的README文档 二、编译安装Qt 1、将下载的文件放到/home/kylin/Qt_Source文件夹内 2、解压zlib源码， 进入源码目录，执行以下代码安装。如果系统已经有zlib库， 可以不用执行此步骤 ./configure make & make install 3、解压qt-everywhere-opensource-src-5.9.2源码包，进入解压后的文件夹， 执行.

下面是我的友链啦~~ 外校大佬 _redness 魔法少女 Kylin_Seven 宠辱不惊，闲看庭前花开花落；去留无意，任随天边云卷云舒 Areds 不忘初心，方得使终 Quaint 技术宅拯救世界 校内巨佬们 wxyww 让过去过去，让未来到来 复杂的哈皮狗 人这么弱，有什么资格颓废￣へ￣ 苡焮 rp+++++ pyyyyyy 末将于禁,愿为曹家世代赴汤蹈火。 hwim 超级暖心而且帅气的大哥哥 自为风月马前卒 知名OI博主 Q-A-S 蓝太阳！ 口昭寿 在下一介船夫 >w<。 xun薰 滑稽(●'◡'●) Luckyblock 驻足现世，心存幻想。 fastle 垆边人似月 皓腕凝霜雪 SovietPower 青春无你，何以为青春。 whymhe 可爱的小明 Echo宝贝儿 嘟噜噜，大一颓废狗~ lzpclxf 唯有琴音深入我心 yu_xuan 纵使日薄西山. _Destiny 星海横流，岁月成碑。 Aliemo 醉眼耐薰红杏色,韶华催换绿杨丝。 良月澪二 月光深处，便是你轮回尽头 南條キミツ 比你强的人都在努力，比你弱的人也没有放弃 另一个我 且视他人之疑目如盏盏鬼火，大胆地去走你的夜路. 来源： oschina 链接： https://my.oschina.net/u/4408223/blog/4337003