Warehouse

在app的开发中，页面之间的相互跳转是最基本常用的功能。在Android中的跳转一般通过显式intent和隐式intent两种方式实现的，而Android的原生跳转方式会存在一些缺点： 显式intent的实现方式，因为会存在直接的类依赖的问题，导致耦合严重； 隐式intent的实现方式，则会出现规则集中式管理，导致协作变得困难； 可配置性较差，一般而言配置规则都是在Manifest中的，这就导致了扩展性较差； 跳转过程无法控制，一旦使用了StartActivity()就无法插手其中任何环节了，只能交给系统管理； 当多组件化开发，使用原生的路由方式很难实现完全解耦； 而阿里的 ARouter 路由框架具有解耦、简单易用、支持多模块项目、定制性较强、支持拦截逻辑等诸多优点，很好的解决了上述的问题。关于ARouter具体实现功能，典型应用以及相应技术方案实现的介绍不在这详细介绍，具体可参见 开源最佳实践：Android平台页面路由框架ARouter 。 阿里ARouter的分析计划 阿里ARouter使用及源码解析（一） 阿里ARouter拦截器使用及源码解析（二） 阿里ARouter参数自动装载使用及源码解析（三） 基本功能使用 1.添加依赖和配置 android { defaultConfig { ... javaCompileOptions {

大数据常见英文词汇（待更新） words(单词) resilient 有弹性的 parallelize 并行化 procedure 过程 process 进程、处理 program 程序 schedule 日程安排 scheduler 调度程序 schema 架构 segment 段 operation 算子 convergence 汇聚 visualize 可视化 plugin 插件 transactional 事务性 integrity 完整 slot 窄缝，扁口;位置，时间，机会 a bunch of 一群 ELK elasticsearch 弹性搜索 logstash 日志存放 kibana vertical bar 竖条 dash board 仪表盘 Covariance 协方差 constraints 约束条件 repository 存储库 Parquet 镶木地板 specify 指定 immutable 不变的 block 块 greater than gt 大于 less than lt 小于 Phrases（词组） Streaming data processing （基于实时）数据流的数据处理 interactive query （基于历史数据的）交互式查询 batch data processing （复杂的）批量数据处理 URI (Uniform

SELECT location_no, lot_batch_no, qty_onhand, qty_reserved, id, receipt_date, product_date, expiry_date, pos_x FROM ( SELECT s.location_no location_no, s.lot_batch_no lot_batch_no, s.qty_onhand qty_onhand, s.qty_reserved qty_reserved, s.id id, s.receipt_date receipt_date, s.product_date product_date, s.expiry_date expiry_date, m.pos_x pos_x FROM bay_list b, inventory_location m, inventory_part_in_stock s WHERE b.logistics_company_id = m.logistics_company_id AND b.bay_no = m.bay_no AND b.warehouse = m.warehouse AND m.lock_inventory = 0 -- 未锁定 AND (b.bay_type = 1 OR 1 IS NULL) AND m.location_no

接着上一篇 文章 介绍了数据仓库的发展历史和基本概念，本文将着重介绍数据仓库的主流建模方式——维度建模。 01 业务分析与维度建模 常见的业务分析过程，包含对分析对象的定性分析和定量分析。维度建模在确定一个主题后，会将数据存储在事实表和维度表。对比下这两个分类，非常巧合的，在维度模型里面维度表存放的是分析 主题的属性 ，对应于 定性分析 ；而事实表中存放的是属性组合下的 数量度量 ，对应于 定量分析 。 以分析销售主题为例，对于销售可量化的数据如销售金额、销售数量等可以量化的数据是存在事情表中。对销售有影响的属性如，地区、产品、时间等。 同时，每个主要的影响因子维度下，存在多种不同的粒度，比如地区可以按照省、市、区进行划分；时间可以按照季度、月度甚至节假日等进行划分。在分析业务时，可以使用鱼骨图将这些因子罗列起来。下图为使用鱼骨图做的销售主题的归因或者相关分析。 02 事实表和维度表 上文中已经提到事实表中存放定量数据，按照Kimball在《The Data Warehouse Toolkit, 3rd Edition》的定义：在维度模型中，事实表存放业务事件的测度(perfromance measurement)结果。事件的测试，对于销售事件来说，常规的如金额、商品件数等。在维度模型下，获取的测度值需要在各个维度的最小粒度下获取。例如在产品维度上

3 月，跳不动了？>>> 1：定义 未被external修改的是内部表(MANAGED TABLE)，被external修饰的为外部表(EXTERNAL TABLE) 创建外部表语法： create external table person2( id int, name string, hobby array<string>, addr map<string,string> ) row format delimited fields terminated by ',' collection items terminated by '-' map keys terminated by ':' location '/user/person2' ; 2：区别 1）内部表数据由hive自身管理，外部表数据由hdfs来管理 内部表数据存储的位置默认/user/hive/warehouse, 外部表数据存储的位置由用户自己指定 2）删除内部表会直接删除元数据和存储数据 删除外部表仅仅只会删除元数据，HDFS上的文件不会删除。 3：分区表 1）定义语法 create table p1( id int, name string, hobby array<string>, addr map<string,string> ) partitioned by (p_dt string) row

观看视频《基于阿里云搭建数据仓库》https://www.bilibili.com/video/av73122769 做的笔记。 数据仓库 data warehouse 为企业所有决策制定过程 ， 提供所有系统数据支撑的战略集合 阿里云产品 DataHub 数据总线 Kafka MaxCompute 大数据计算框架 Hadoop DataWorks 可视化 MaxCompute 的开发管理平台 RDS 关系型数据库 Mysql QuickBI 可视化数据展示工具 Echarts ECS 弹性服务器 Linux 数据流程 数仓分层 ODS 原始数据层 存原始数据 ， 不做处理 DWD 明细数据层 对原始数据进行拆分 、 清洗 DWS 服务数据层 对 DWD 轻度汇总 ， 组成宽表 ADS 数据应用层 结果数据 ， 为统计报表提供数据 优点 复杂问题简单化 一个复杂任务改成多个 ， 方便定位问题 减少重复开发 隔离原始数据 保持数据原貌 来源： oschina 链接： https://my.oschina.net/u/4455934/blog/3165506

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 猫眼技术团队 https://juejin.im/post/5d5be159f265da03970bbc3a 数据仓库存在的初期，甚至没有数据仓库的时候，猫眼的日常需求报表和数据接口提供方式如图一： 数据散落在企业各 数据散落在企业各部门应用的数据存储中，它们之间有着复杂的业务连接关系，从整体上看就如一张巨大的蜘蛛网：结构上错综复杂，却又四通八达。在企业级数据应用上单一业务使用方便，且灵活多变；但涉及到跨业务、多部门联合应用就会存在： 数据来源多样化，管理决策数据过于分散； 数据缺乏标准，难以整合； 数据口径不统一，可信度低； 缺乏数据管控体系，数据质量根本无法保证。 从这种原始数据存储的方式提取数据，长期以往将会碰见以下问题： 数据缺乏可信性 数据越来越分散化 数据缺乏统一的标准，将失去数据准确性的意义 数据仓库的定义 数据仓库之父Bill Inmon在1991年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策（Decision

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 相当数量的企业（尤以金融、保险类企业为主）由于信息安全、自主掌控和人员管理等方面的考虑，常常选取采用自主开发和人力 外包 相结合的策略来完成IT项目的实施。信必优 （http://www.symbio.com.cn） 针对市场上这一不断增长的需求，通过实践积累摸索出了一套成熟的解决方案，能为客户快速、有效地提供大量各类经过严格筛选、高质量的IT技术人才。 成熟的人才招聘资源库和专业招聘团队 成熟的人才招聘资源库和专业招聘团队 可提供的人才包括： • 通用技术人才（Java，.Net，Oracle等） • 大型主机、专用系统技术人才（Cobol，AS400，RPG,Smart等） • 商业智能技术人才（BI，Data Warehouse，Informatica等） • 冷门及领先技术型人才（C++，VB，Filenet,FLEX等） • 项目经理及系统架构师 • 金融 及 旅游行业 需求分析师 • 行业顾问及工程监理 成熟的外派人员关怀与管理体系，确保人员的质量、稳定性与低流失率 领先的各项开发技术与软技能培训体系，确保人员素质的提高与客户的满意度 业界领先的客户回访与合作制度 关键词 ：IT人才外包、人才外派、软件开发、软件外包、信必优 来源： oschina 链接： https://my.oschina

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1.文档编写目的 本文档讲述如何通过Hue管理Sentry权限，您将学习到以下知识： 1.如何使用Hue创建用户 2.如何使用Hue为hive用户组授权超级权限 3.如何使用Hue验证授权 文档主要分为以下几步： 1.使用Hue创建测试用户 2.授权hive组为管理员 3.创建角色并授权验证 4.备注 这篇文档将重点介绍如何使用Hue管理Sentry权限，并基于以下假设： 1.CDH集群运行正常 2.集群已启用Kerberos 3.集群已安装Sentry服务，已和HDFS/Hive/Impala/Hue服务集成 以下是本次测试环境，但不是本操作手册的硬限制： 1.操作系统：CentOS 6.5 2.CDH和CM版本为5.12.1 3.采用root用户进行操作 4.Hue的管理员账号为admin 2.在Hue上创建用户 通过Hue管理员分别创建用户hive/fayson_d/fayson_a/fayson_c/fayson_h，hive用户所属组为hive组，其它用户所属组也与用户名称一样。 注意：确保以上用户在集群所有节点均存在。 1.使用admin用户登录Hue 2.进入用户管理，创建hive的组 点击“Add group”保存新建的组 3.创建hive用户（以创建hive用户为例） 3

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 开讲之前，我们先来回顾一下数据仓库的定义。 数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。这个概念最早由数据仓库之父比尔·恩门（Bill Inmon）于1990年在《建立数据仓库》一书中提出，近年来却被愈发广泛的提及和应用，不信看下图： 到底是什么，让一个从上世纪90年代提出的概念，在近几年确越来越热？带着这个问题，我们来了解一下产业真实的变化。 根据统计局的数字显示，近年来数字经济总体规模占GDP的比重越来越高，截止2018年将近35%；数字经济增速与GDP增速的差距逐渐拉大，远高于同期GDP增速。 在 2014年，“新常态”一词被首次提出，指出从当前中国经济发展的阶段性特征出发，适应新常态，保持战略上的平常心态。意味着经济新常态下，要适应GDP从高速增长转变为中高速增长的态势，吃资源饭、环境饭、子孙饭的旧发展方式正在让位于以转型升级、生产率提高、创新驱动为主要内容的科学、可持续、包容性发展，从要素驱动、投资驱动转向服务业发展及创新驱动。 在新常态下，数据经济背后的信息化正催生数据发挥着巨大价值，未来也会一样。 在这样的背景下，“数据”、“数据分析”、“人工智能”、“IOT”这些行业关键词在百度指数搜索趋势一路攀升。而随着转型的深入