Warehouse

记者 | Aholiab 责编 | 刘静 出品 | CSDN（ID：CSDNnews） 11月4日，一年一度的微软IT大会Ignite在美国奥兰多举行，来自全球的2.6万名IT从业者、开发者、数据专家出席会议。在本次会议中，微软发布了多项最新的技术、产品、服务与解决方案，涵盖从Azure到经典的办公服务等多个领域。CSDN记者应邀出席了本次大会，并从现场发回了最新报道。 作为专业的技术社区，本篇文章除了向大家介绍微软本次发布的重要服务和产品之外，也特别为国内的开发者整理了新发布的开发工具。接下来就让我们一起来看看本次Ignite大会的那些亮点吧~ 美国东部时间11月4日~8日，一年一度的微软IT大会Ignite在美国奥兰多举行。作为微软最重要的技术会议之一，每年微软都会在Iginite大会上宣布一系列的产品及服务的升级，也会发布一些新的技术解决方案。今年也是如此。 萨提亚： 让所有公司都成为软件技术公司 在万众瞩目中，微软CEO萨提亚·纳德拉（Satya Nadella）以「技术密集度」（Tech Intensity）为主题的演讲拉开了大会的序幕，并以一种「行为艺术」的方式来阐释选择这个主题的原因。 微软CEO萨提亚·纳德拉 在过去的110天里，一个临时组成的开发团队在奥兰多环球影城实现了一个新的展厅。利用Azure Kinect的AI传感器所提供的计算机视觉能力和语音模型，萨提亚

GuavaCache简介（一） 来源： oschina 链接： https://my.oschina.net/u/4343506/blog/4690898

hive-etl开发模板 #!/bin/bash . /home/anjianbing/soft/functions/wait4FlagFile.sh # =========================================================================== # 程序名称: # 功能描述: 城市每日完成订单数 # 输入参数: 运行日期 # 目标表名: app.app_order_city_d # 数据源表: dw.dw_order # 创建人: 安坚兵 # 创建日期: 2015-12-21 # 版本说明: v1.0 # 代码审核: # 修改人名: # 修改日期: # 修改原因: # 修改列表: # =========================================================================== ### 1.参数加载 exe_hive="hive" if [ $# -eq 1 ] then day_01=`date --date="${1}" +%Y-%m-%d` else day_01=`date -d'-1 day' +%Y-%m-%d` fi syear=`date --date=$day_01 +%Y` smonth=`date --date=$day_01 +%m`

Hive的功能 使用SQL的方式读取分布式存储系统上的大量数据。 数据库：在线事务处理，并发性、事务性和低延迟性。 数据仓库：在线分析处理，有高的延迟。 Hive与Hbase区别： 1.Hive是数据仓库工具，用于分析大数据；hbase是数据库工具，用于存储NoSQL的数据库。 2.Hive因为执行HQL语句，基于MR处理数据时间，耗时长；hbase可实时查询数据 Hive的数据存储于HDFS上，结构化信息存储在MySQL表里。（hive的数据库和表是HDFS的目录，数据是HDSF文件） 进入hive中可以通过dfs -XX 的命令直接访问hdfs •HiveServer2 使用hiveserver2服务器，实现客户端以jdbc协议远程访问hive。（客户端不需要安装hive） •常用命令 desc database XXX/ 某表; create table test01 as select from test; 复制表数据同时创建内部表 create external table ext_test like test; 复制test的表结构 insert into ext_test select from test; 复制表数据到外部表 alter table test add columns (id , int); 添加表中的列 desc formatted test;

目录 管理系统类 商业模式类 其它 持续更新。。。。。。。。。 管理相关 ERP：企业资源规划 (Enterprise Resource Planning) OA：办公自动化(Office Automation)，数字化、智能化办公，无纸化办公 MES：制造执行系统 (Manufacturing Execution System) CRM：客户关系管理 (Customer Relationship Management) SCM：供应链管理 (Supply Chain Management) APS：先进规画与排程系统 (Advanced Planning and Scheduling) PLM：产品生命周期管理(Product Lifecycle Management) EAM：企业资产管理(Enterprise Asset Management) WMS：仓储管理系统(Warehouse Management System) WIP：在制品 (Work In Process) MTS ： 按库存生产 MTO：按订单生产 ATO：按订单装配 BOM：物料清单 (Bill Of Material) SCADA：数据采集与监视控制系统(Supervisory Control And Data Acquisition)；以计算机为基础的DCS与电力自动化监控系统；它应用领域很广

1 题述 1.1.库存模型回顾 关于库存模型的一些历史博客,请参考: 商品库存模型-逻辑设计小议 存货成本确定方法-进价计算设计 如果你刚刚接触商品库存设计, 并没有对该逻辑进行过较为深入的思考, 建议先阅读这两篇博客. 1.2.双日志库存模型简述 以往博客中我提到的, 关于同时兼顾1)可查询历史库存2)可准确确定商品成本,推荐的方法是库存日志法. 但该法有两个缺陷: 一些场合下, 出库计算会十分复杂, 计算量比较大; 有时会有金额/价格的(四舍五入导致的)近似误差产生; 基于此, 在约一年前, 我们又发明了一种双日志库存模型, 弥补了这两个缺陷. 经过一年左右调试和使用, 可以确定该方法确实比单日志库存模型要好用. 该方法简而言之, 就是设计两种库存日志. 入库日志: 核心包括记录入库单号及类型, 入库日期, 仓库/商品/商品属性/批次, 入库数量, 单位成本, 剩余数量; 出库日志: 核心包括记录出库单号及类型, 对应入库单号及类型和入库日志id, 出库日期, 仓库/商品/商品属性/批次, 出库数量, 单位成本(冗余); 入库日志上尤其需包含剩余数量, 这样进行进销存统计时就只需统计入库日志, 而不必统计出库日志. 出库日志上需包含对应的入库日志id, 一个入库日志会对应一个或多个出库日志, 这也意味着, 在出入库平衡的情况下, 出库日志数量一定不少于入库日志数量. 2 设计

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 1. 什么是数据仓库 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 2. 数据仓库能干什么？ 年度销售目标的指定，需要根据以往的历史报表进行决策，不能拍脑袋。如何优化业务流程 例如：一个电商网站订单的完成包括：浏览、下单、支付、物流，其中物流环节可能和中通、申通、韵达等快递公司合作。快递公司每派送一个订单，都会有订单派送的确认时间，可以根据订单派送时间来分析哪个快递公司比较快捷高效，从而选择与哪些快递公司合作，剔除哪些快递公司，增加用户友好型。 简而言之就是汇总八方数据，清洗后提供对我服务。 3. 数据仓库的特点 1. 数据仓库的数据是面向主题的 与传统数据库面向应用进行数据组织的特点相对应，数据仓库中的数据是面向主题进行组织的。什么是主题呢？首先，主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。面向主题的数据组织方式，就是在较高层次上对分析对象的数据的一个完整

一、事发背景 二、应急措施 直观的方案 三、分析过程 hdfs文件删除过程 BlockManager EditLog hdfs元数据的加载 方案确定 四、灾难重演 五、经验总结 一、事发背景 ​ 上个月的某一天，由于集群空间不足，公司有一位技术经理级别的大数据leader在通过跳板机在某个线上集群执行手动清理命令，疯狂地执行 hadoop fs -rmr -skipTrash /user/hive/warehouse/xxxxx ，突然，不知道是编辑器的问题还是换行问题，命令被截断，命令变成了 hadoop fs -rmr -skipTrash /user/hive/warehouse ，悲剧此刻开始发生！? ​ /user/hive/warehouse 目录下存储了所有hive表的数据，关联公司多个业务线，一旦丢失，意味着巨大的损失。由于加了 -skipTrash 参数，意味着删除的数据不会放入回收站而是直接删除，这个参数不加的话很容易挽回，回收站里直接找，可惜逃不了墨菲定律，最担心的事还是发生了。 ​ 领导解决不了的事，只有小弟上，看我接下来怎样四两拨千斤。 二、应急措施 运维跟这位大数据经理第一时间找到我，当时说误删了 /user/hive/warehouse 目录。当时我也是一震惊，完了完了！凭我仅有的直觉，立马停掉了HDFS集群！后面证明是很明智的选择。 直观的方案

先看下如何创建数据表 create [external] table if not exists 表名 (列名数据类型 [comment 本列注释],...) [comment 表注释] [partitioned by (列名数据类型 [comment 本列注释],...)] [clustered by(列名,列名,...)] [sorted by (列名 [asc|desc],...)] info num_buckets buckets] [row format row_format][stored as file_format] [location hdfs_path] [tblproperties (property_name=property_value,...)] [as select_statement] 说明： ①external表示创建外部表；hive在创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变 ②partitioned by表示创建分区表 ③clustered by创建分桶表 ④sorted by 不常用 ⑤row format delimited [fields terminated by char] [collection items terminated by char] [map keys

数据仓库（Data Warehouse）：是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。 数据仓库的目标 实现跨系统数据共享，解决信息孤岛 提升数据质量 辅助决策分析 提供统一的数据服务 数据仓库的构建的挑战 信息整合在技术上的复杂度 信息整合的管理成本 数据资源的获取 信息整合的实施周期以及整合项目的风险等。 数据存储区 ODS整个企业单位全局级的明细数据、 数据仓库/数据集市集市中存储了不同级别的汇总数据、 共享数据库、 特征库-存放各种数据分群特征、业务分类特征等业务信息、 模型库-存放构建的各种业务模型信息等 2 关键步骤 明确主题-为谁分析、分析什么 基于商业维度分析数据维度-确定任务相关的所有维，维度层次和名称 基于事件 提取指标，确定事实表的度量变量和数据粒度 确定数据量级 确定时效性要求、更新频率 分析型数据源通常使用星型结构布局 分拆维度DIM 事实表FACT ，join得到星型或者雪花型模型 3.建立数据仓库的逻辑模型 具体步骤如下： （1）确定建立数据仓库逻辑模型的基本方法。 （2）基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。 （3）识别主题之间的关系