数据集成

前言 本文来自 Prometheus官网手册 和 Prometheus简介 存储 Prometheus是一个本地磁盘时间序列数据库，但也可选择与远程存储系统集成，其本地时间序列数据库以自定义格式在磁盘上存储时间序列数据。 1.1 磁盘布局 采集的样本按每两个小时的时间段保存到一个目录，该目录包含一个或多个块文件，该文件包含该时间窗口的所有时间序列样本，以及元数据文件和索引文件（用于将度量名称和标签索引到块文件中的时间序列）。通过API删除系列时，删除记录存储在单独的逻辑删除文件中（而不是立即从块文件中删除数据） 当前传入样本的块保存在内存中，但尚未完全保留。通过预写日志（WAL）防止崩溃，可以在崩溃后重新启动Prometheus服务器时重放。预写日志文件以128MB段存储在wal目录中。这些文件包含尚未压缩的原始数据，因此它们比常规块文件大得多。 Prometheus将保留至少3个预写日志文件，但是高流量服务器可能会看到三个以上的WAL文件，因为它需要保留至少两个小时的原始数据。 Prometheus服务器的数据目录的目录结构如下所示： ./data ├── 01BKGV7JBM69T2G1BGBGM6KB12 │ └── meta.json ├── 01BKGTZQ1SYQJTR4PB43C8PD98 │ ├── chunks │ │ └── 000001 │ ├──

本文转载自：http://blog.csdn.net/u013412535/article/details/43462537 ETL ，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。 ETL 一词较常用在 数据仓库 ，但其对象并不限于 数据仓库 。 ETL负责将分布的、异构数据源中的数据如关系数据、 平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。 数据仓库是一个独立的数据环境，需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储介质导入到数据仓库中；在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面；数据仓库系统中数据不要求与联机事务处理系统中数据实时同步，所以ETL可以定时进行。但多个ETL的操作时间

ETL工程师: Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。 ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库， 数据仓库技术 没有严格的数学理论基础，它更面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。 数据仓库是一个独立的数据环境，需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的 数据存储 介质导入到数据仓库中；在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面；数据仓库系统中数据不要求与联机事务处理系统中数据实时同步，所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对数据仓库中信息的有效性至关重要。 数据挖掘工程师: 数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的

　　企业资源计划或称企业资源规划简称ERP（Enterprise Resource Planning），由美国著名管理咨询公司Gartner Group Inc.于1990年提出来的，最初被定义为应用软件，但迅速为全世界商业企业所接受，现已经发展成为现代企业管理理论之一。企业资源计划系统，是指建立在资讯技术基础上，以系统化的管理思想，为企业决策层及员工提供决策运行手段的管理平台。企业资源计划也是实施企业流程再造的重要工具之一，是个属于大型制造业所使用的公司资源管理系统。世界500强企业中有8O％的企业都在用ERP软件作为其决策的工具和管理日常工作流程，其功效可见一斑。 　　ERP是整合了企业管理理念、业务流程、基础数据、人力物力、计算机硬件和软件于一体的企业资源管理系统。ERP是先进的企业管理模式，是提高企业经济效益的解决方案。其主要宗旨是对企业所拥有的人、财、物、客户、信息、时间和空间等综合资源进行综合平衡和优化管理，协调企业内外各管理部门，围绕市场导向开展业务活动，提高企业的核心竞争力，从而取得最好的经济效益。所以，ERP首先是一个软件，同时是一个管理工具。它是IT技术与管理思想的融合体，也就是先进的管理思想借助电脑，来达成企业的管理目标。 　　西方企业管理方法的发展经历了以下过程： 订货点法。在40年代，计算机系统还没有出现，为解决库存控制问题，人们提出了订货点法。

EMC云备份 一、主要组成 1、Data Domain 针对备份和归档的保护存储。 2、EMC Avamar 重复数据消除备份软件和系统。 3、EMC NetWorker 统一备份和恢复。 4、EMC Data Protection Advisor 统一数据保护管理。 二、EMC Data Domain EMC Data Domain针对备份和归档的保护存储。 利用高速重复数据消除整合备份、归档和灾难恢复。 EMC Data Domain 操作系统 Data Domain 重复数据消除和数据保护功能的智能后盾。 EMC Data Domain 重复数据消除存储系统 使用高速重复数据消除，实现备份、归档和灾难恢复转型。 EMC Data Domain Boost 实现更快、更高效的备份和灾难恢复。 EMC Data Domain Replicator 高效地复制您的备份和归档数据。 EMC Data Domain Encryption 确保备份和归档数据安全。 EMC Data Domain ExtendedRetention 以重复数据消除存储替代磁带进行长期备份保留。 EMC Data Domain RetentionLock 保护您的归档数据并符合内部治理或法规遵从性标准。 EMC Data Domain VirtualTape Library

一、EAM概述： EAM（ Enterprise Asset Management）即企业资产维护管理系统 ，它是面向资产密集型（Asset-intensive）企业的企业信息化 解决方案的总称，其前身称作CMMS（Computerized Maintenance Management System）计算机维修管理系统，主要适用于资产密集型企业 对高价值固定资产的维护、保养、跟踪等信息管理。它以提高资产可利用率、降低企业运行维护成本为目标。以优化企业维修资源为核 心，通过信息化手段，合理安排维修计划及相关资源与活动，从而提高企业的经济效益和企业的市场竞争力。 今天，EAM系统涵盖了维护、修理和运营所涉及的方方面面，从库存和采购到工作管理和建立设备模型，但这些仅是EAM系统的基本功 能。EAM系统通过创建背后信息来提升维护技术，这些背后的信息在实施EAM之前并不存在，它是加速故障诊断和工作建立的知识基础。优 秀的EAM系统的领先性在于其对复杂设备的建模能力，如从公路、管道、线路到产品流程。EAM系统提供任何工厂和服务领域所需的成熟技 术，不受设备所处室内外位置的影响。它还通过连接终端用户和最有效的信息源支持简化运营工作，并且这些信息都是在系统中预先设置 的。此外，一个端到端的电子商务解决方案可以最大程度降低目标实现的成本。 EAM系统以用户需要的所有工具开发和设置，用户无需编程

为什么要用webservice 用webservice是为了支持异构平台，譬如服务器端是python/java，客户端可以是jsp/php/asp.net。 从测试角度看，可以用它做测试的客户端，通过webservice和服务器通信。 从接口角度看，webservice生成的代码虽然很啰嗦，可它是强类型代码，接口有变动只要编译就知道错误。 J2EE的EJB(SLSB)可以提供WebService，而且是支持多个客户端并发的。即两个client可以同时调用同一个接口，而且这两个接口会同时执行（因为无状态）。 例如，若同时访问同一个接口，会同时调用： 14:01:41,641 INFO [STDOUT] registerWorker start... 14:01:41,919 INFO [STDOUT] registerWorker start... 14:01:46,668 INFO [STDOUT] registerWorker #1008 14:01:46,670 INFO [STDOUT] registerWorker finished... 14:01:46,924 INFO [STDOUT] registerWorker #1009 14:01:46,926 INFO [STDOUT] registerWorker finished... 14:01:56,671 INFO

因为公司项目需要，在Hibernate+Struts2的环境下，研究了一下如何使用jqGrid。 说实在的，Struts2+jqGrid不是一个很好的组合。因为jqGrid中很多功能，基本上都使用的是AJAX的访问方式，并且，大家都知道，jqGrid需要的数据，要么是XML格式的，要么是JSON格式。(当然，我说的是一般情况，其实jqGrid还支持本地数据，以及xml字符串、json字符串之类的) 而Struts2已经把Action的返回做了很好的封装了。一般的情况下，最好不要通过Action的Execute方法去访问HttpServletResponse对象。但是要使用qGrid，就必须在execute方法中调用response，组装需要的xml或者json格式的数据，并返回到客户端。 怎么说呢，感觉比较怪异。另外，估计是我对struts2的json-plugin还不太熟悉，也不会用这个玩意，所以老是觉得程序的结构很怪异！ 直白的说，jqGrid提供了一个很方便的数据显示外壳，但是具体的所有动作，还是要自己来实现。记住：jqGrid是基于服务器端处理的，也就是说，一切的查询、排序、分页等功能，都需要你在服务器端去自己实现。（我准备在下一篇文章中详细说一下jqGrid的简单查询——只通过一个字段过滤的查询动作，这是jqGrid默认的查询！） 下面是我的一个例子

Talend Open Studio（拓蓝开放工作室） Talend的旗舰产品， Talend Open Studio ，提供了迄今市场上最为开放，最具效力并最有创造力的数据集成方案。 拥有一个多功能合一，即装即用的应用平台， Talend Open Studio 可以满足所有组织机构的数据集成要求——无论其集成技术的高低或是项目规模的大小。 Talend Open Studio 秉承一贯的活力，将其强大的功能贯穿于数据集成的复杂过程中，即使在最为严苛的环境中也毫不逊色。 Talend Integration Suite（拓蓝集成套件） Talend Integration Suite 是一套业界领先的开源企业数据集成解决方案，它不仅满足了最为严格的企业发展要求，甚至可以完成针对最大规模数据和最为复杂过程的集成任务。 Talend Integration Suite 提供为您量身打造的订阅服务，并借此扩展了Talend金奖产品 Talend Open Studio 的各项功能，让用户享有了更多专业级别的技术支持和补充功能，有助于更大规模的团队合作，促进了面向企业规模的部署的产业化。 Talend Integration Suite MPx（拓蓝集成套件MPx） 依托Talend荣获金奖的企业数据集成技术， Talend Integration Suite MPx 具有高度的扩展性

一、微服务架构演进过程 近年来我们大家都体会到了互联网、移动互联带来的好处，作为IT从业者，在生活中时刻感受互联网好处的同时，在工作中可能感受的却是来自自互联网的一些压力，那就是我们传统企业的IT建设也是迫切需要转型，需要面向外部客户，我们也需要应对外部环境的快速变化、需要快速创新，那么我们的IT架构也需要向互联网企业学习作出相应的改进，来支撑企业的数字化转型。 我们再看一下应用架构的演进过程，回忆一下微服务架构是如何一步一步进化产生的，最早是应用是单块架构，后来为了具备一定的扩展和可靠性，就有了垂直架构，也就是加了个负载均衡，接下来是前几年比较火的SOA，主要讲了应用系统之间如何集成和互通，而到现在的微服务架构则是进一步在探讨一个应用系统该如何设计才能够更好的开发、管理更加灵活高效。 微服务架构的基本思想就是“围绕业务领域组件来创建应用，让应用可以独立的开发、管理和加速”。 二、微服务架构的好处 我们总结了四个方面的优点，分别如下： 是每个微服务组件都是简单灵活的，能够独立部署。不再像以前一样，应用需要一个庞大的应用服务器来支撑。 可以由一个小团队负责更专注专业，相应的也就更高效可靠。 微服务之间是松耦合的，微服务内部是高内聚的，每个微服务很容易按需扩展。 微服务架构与语言工具无关，自由选择合适的语言和工具，高效的完成业务目标即可。 看到这里，大家会觉得微服务架构挺不错