主数据

1.mariadb主从 主从多用于网站架构，因为主从的同步机制是异步的，数据的同步有一定延迟，也就是说有可能会造成数据的丢失，但是性能比较好，因此网站大多数用的是主从架构的数据库，读写分离必须基于主从架构来搭建。 主可以将数据同步到从上，但是从不能将数据同步到主上。 二进制日志这能一条一条的写入，因此数据的同步会有延迟。 异步优点：性能好，效率高 缺点：数据的安全性低 同步优点：数据的安全性高 缺点：效率低 mariadb的复制过程： 1.master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）； 2.slave会生成I/O线程和SQL线程，I/O线程会读取master的二进制日志，master会生成一个dump线程将数据返回给slave端，存储到slave的中继日志(relay log)中。 3.slave端的SQL thread（SQL从线程）处理该过程的最后一步。SQL线程从中继日志读取事件，并重放其中的事件而更新slave的数据，使其与master中的数据一致。只要该线程与I/O线程保持一致，中继日志通常会位于OS的缓存中，所以中继日志的开销很小。 面试会问到的 如果slave有多个，那么master端会生成许多的dump线程，这对于master端会造成很大的压力，为了解决这种问题我们可以这样解决：

序言 搭建了Hbase的服务后,可以对照传统数据库去专门的搜索他的功能.这是会发现一些问题.比如只支持一级索引,只支持行级事务.故此要了解针对这些问题的解决方案.这个别文章其实是整合了其它人的劳动成果.当然也欢迎大家聊一下,虽然现在认真聊个事情是非常难.哈哈~但是万一有人有想法呢.请联系cuiyaonan2000@163.com https://blog.csdn.net/Luomingkui1109/article/details/82762852 https://blog.csdn.net/lipeng_bigdata/article/details/50458771 关于Hbase查询效率的解决方案 目前 HBase 主要应用在结构化和半结构化的大数据存储上，其在插入和读取上都具有 极高的性能表现，这与它的数据组织方式有着密切的关系，在逻辑上， HBase 的表数据按 RowKey 进行字典排序， RowKey 实际上是数据表的一级索引(Primary Index) ，由于 HBase 本身没有二级索引(Secondary Index)机制，基于索引检索数据只能单纯地依靠 RowKey， 为了能支持多条件查询，开发者需要将所有可能作为查询条件的字段一一拼接到 RowKey 中 ，这是 HBase 开发中极为常见的做法，但是无论怎样设计，单一 RowKey 固有

ylbtech-DB-MDM：MDM/主数据管理 百科 主数据 管理（MDM Master Data Management） 描述了一组规程、技术和解决方案 ，这些规程、技术和解决方案用于 为所有利益相关方 （如 用户、应用程序、 数据仓库 、流程以及贸易伙伴 ）创建并维护业务数据的 一致性、完整性、相关性和精确性 。 1. 返回顶部 1、 中文名：主数据管理 外文名：MDM Master Data Management 关 键：管理 简 称：MDM 目录 1 概述 2 数据集成 3 管理 ▪ MDM应用程序法 ▪ MDM平台法 ▪ MDM应用程序法与MDM平台法的不同 ▪ 多领域数据管理 ▪ 主数据管理 4 降低成本 5 最佳实践 2、 2. 返回顶部 1、 概述 主数据 管理的关键就是“管理”。主数据管理不会创建新的数据或新的数据纵向结构。相反，它提供了一种方法， 使企业能够有效地管理存储在分布系统中的数据 。主数据管理使用现有的系统，它从这些系统中获取最新信息，并提供了先进的技术和流程，用于自动、准确、及时地分发和分析整个企业中的数据，并对数据进行验证。 主数据管理解决方案具有以下特性： ·在企业层面上整合了现有纵向结构中的客户信息以及其他知识和深层次信息 · 共享所有系统中的数据 ，使之成为一系列以客户为中心的业务流程和服务 ·实现对于客户、产品和供应商都通用的主数据形式

ylbtech-DB-MD：MD/主数据 主数据（MD Master Data） 指系统间 共享数据 （例如，客户、 供应商 、账户和组织部门相关数据）。 与记录业务活动，波动较大的交易数据相比 ， 主数据（也称基准数据）变化缓慢 。在正规的 关系数据模型 中，交易记录（例如，订单行项）可通过关键字（例如，订单头或发票编号和产品代码）调出主数据。 主数据必须存在并加以正确维护，才能保证交易系统的 参照完整 性 。 1. 返回顶部 1、 中文名：主数据 外文名 MD Master Data 基 于： 组织或配置指标的维度或层次 维 度：时间、地点、客户和供应商 目录 1 简介 2 详细内容 2、 2. 返回顶部 1、 简介 主数据就是 在计算机系统之间分享的数据 。分享是关键词，经典的主数据的例子就是客户，我们都了解客户数据，我们都是别人的客户，但是我们必须要理解，客户是我们MDM的项目中心，同时我们要理解还有其它各种各样的主数据，比如说产品数据、地点、资产、员工等等，这些是相互联系的，因为客户买产品，你卖产品，客户买产品，可能有零售商，是从一个具体的零售店卖出商品，然后顾客来买商品，所以你管理的不仅仅是顾客的数据、产品的数据，还有地点的数据，以及其它相关的数据。 从报告或 维度建模 角度看，主数据指基于其组织或配置指标的维度或层次，而不是实际情况或其自身测量结果。例如，收入

　　创建数据库的SQL语句： 1 create database stuDB 2 on primary -- 默认就属于primary文件组,可省略 3 ( 4 /*--数据文件的具体描述--*/ 5 name='stuDB_data', -- 主数据文件的逻辑名称 6 filename='D:\stuDB_data.mdf', -- 主数据文件的物理名称 7 size=5mb, --主数据文件的初始大小 8 maxsize=100mb, -- 主数据文件增长的最大值 9 filegrowth=15%--主数据文件的增长率10 )11 log on12 (13 /*--日志文件的具体描述,各参数含义同上--*/14 name='stuDB_log',15 filename='D:\stuDB_log.ldf',16 size=2mb,17 filegrowth=1mb18 ) 　那么如何删除这个数据库呢，SQL Server将数据库的清单存放在master系统数据库的sysdatabases表中，只需要查看该表是否存在于该数据库中就可以 了，语句如下： use master -- 设置当前数据库为master,以便访问sysdatabases表goif exists(select * from sysdatabases where name='stuDB')drop

今天主要看了SAP BW中的ETL Services中的Extraction部分的前面两个引入话题的小节。（效率真是汗啊-。-） 做了一点笔记，其实几乎是在翻译了。 Extraction Basic Principles 1, Classes of Data 　　Data 在典型的像 SAP 一样的 ERP 系统中被分为三种，主数据，事务数据和配置数据。 　　 先说主数据，主数据通常是组织的实体，也有作为外部实体出现的，还可以是其他的事务，比如材料（ @@ ？）。主数据在数据仓库中的重要性就在于，它提供了多维数据分析中的那些维数。 　　在 BW 中，主数据通常又是由三种表现方式呈现的，属性，层级和文本。属性就是描述实体属性的那些域，层次则大多数是一些独立的表，它们表述的通常是主数据之间的父子关系。而文本表则是包含了主数据的一些文字表述，它们通常也被分别保存在独立的表中，因为它们通常都是依赖于语言的。 　　 主数据的关键键值，通常因为应用而异，所以有时候即使是相类似的概念，也会根据业务的需求制定复合的信息对象（ Compound InfoObjects ），以适应于不同的业务类型。 　　 层次表相对属性表来说更复杂。首先，层次中主数据的相互联系可以很复杂，第二，保存这些层级关系的技术也因应用而异，许多应用模块只有唯一的层次表达方式， 　　 事务数据用来表述一个商业事件

刚刚接触SAP SCM，首先需要了解SAP SCM在整个SAP Business Suite中处于什么地位，其与SAP Business Suite中其他的application有什么集成关系。 那首先，什么是SAP Business Suite呢，看下面这张图，处于核心的是SAP ERP，是由之前的R/3升级而来，当然整个技术架构都变了，之前是跑在SAP BASIS 平台之上，现在所有的application都统一了架构，基础架构都在SAP NETWEAVER之上，但是不管是R/3也好，ECC也好，SAP ERP也好，其实在业务层面没有太大的变化，我们一些传统的业务模块，囊括了财务会计、管理会计、后勤、人力资源等等都还是在SAP ERP中，其他对于一些特定的业务，SAP开发了新的application作为增强，比如对于后勤中的销售，增加了SAP CRM模块来扩展和增强其对于销售、订单、客户关系、售后等等业务内容。此外还是针对供应商管理的SAP SRM，针对产品生命周期管理的SAP PLM，针对供应链的优化和管理的SAP SCM，后者正是我们这次要探讨的重点。 那SAP SCM和SAP ERP在功能上有什么区别呢，SAP ERP主要是对生产的执行过程包含从原材料采购、到生产、到销售的整个完全的过程链进行管理，关键字是执行，而SAP

注：本文于2019年1月31日发表于微信公众号 谈数据（learning-bigdata），本公众号将于4月21日发布一篇关于《数据治理之元数据管理》的文章，有兴趣可以扫描下方二维码关注。 在和一些客户、同事聊数据的时候，发现好多人对于数据相关的一些概念、作用并不是很清楚。这里我针对自己工作接触和学习积累的一些内容给大家做一个总结和分享。如有偏颇，请斧正！ 1、数据元 1.1 标准定义 [GB/T 18391.1－2002，定义3.14] ，用一组属性描述定义、标识、表示和允许值的数据单元，数据元由三部分组成：对象、特性、表示。 1.2 我的理解 数据元是组成实体数据的最小单元，或称原子数据，例如，客户联系方式中的手机号码，手机号为数据元，135****为数据元的值。 1.3 主要作用 数据元本身就是数据，一般用来对各行业的数据进行自身规范化的一个方法或一套指导的理论，规划好行业数据元之后，可以为行业构建出统一、集成的、稳定的数据模型奠定基础。 1.4 应用范围 数据元早期在金融、医疗等应用非常广泛，国家相关单位也出具了对于数据元管理的一系列技术标准和行业标准，例如：GB/T 18391.1 信息技术 数据元的规范和标准化；CFDAB-T-0301.1-2014 食品药品监管信息基础数据元…… 1.5 应用举例 CFDAB-T-0301.3-2014（食品药品监管信息基础数据元