数据集成

从百度云课堂上截图的基础概念，如果之前不了解的可以先看一下这篇博客： https://blog.csdn.net/weixin_30708329/article/details/97262409 不同的数据集训练不同的模型，根据模型进行投票得到最终预测结果 多棵决策树组成森林，每个模型训练集不同和选择的决策属性不同是RF算法随机的最主要体现 adaboost算法不同模型之间会有影响 多层分类器进行结果的预测 bagging算法提高KNN和决策树算法精确度 1 # 导入算法包以及数据集 2 from sklearn import neighbors 3 from sklearn import datasets 4 from sklearn.ensemble import BaggingClassifier 5 from sklearn import tree 6 from sklearn.model_selection import train_test_split 7 import numpy as np 8 import matplotlib.pyplot as plt 9 iris = datasets.load_iris() 10 x_data = iris.data[:,:2] 11 y_data = iris.target 12 def plot(model): 13 #

#0 系列目录# 聊聊服务架构 深入浅出SOA思想 微服务、SOA 和 API对比与分析 #1 简介# 在对比微服务架构和面向服务的架构（SOA）时，几乎不可能在它们彼此的关系上达成一致意见。如果应用程序编程接口（API） 再加入混战，就会让理解它们的差异变得更加困难。一些人可能会说这些概念完全不同，它们各自解决自己的一组问题，而且拥有独特的应用范围。其他人可能更宽厚，认为它们实现了类似的目标，并且具有相同的工作原理。他们可能还会说微服务架构是一种 “细粒度的 SOA” 或 “SOA 的恰当应用”。 #2 一种过于简单的观点# 难以对比 SOA 和微服务的原因在于，它们的定义留有很大的解释空间 。如果您仅拥有这两个概念的表面知识，可能会觉得它们很相似。一些关键方面（比如组件化、解耦和标准化通信协议）描述了最近几十年的大部分软件举措，所以我们需要进行更深入地分析。 考虑以下简单定义： 微服务架构是一种构造应用程序的替代性方法。 应用程序被分解为更小、完全独立的组件，这使得它们拥有更高的敏捷性、可伸缩性和可用性 。 SOA将应用程序的功能公开为更容易访问的服务接口 ，使得在下一代应用程序中使用它们的数据和逻辑变得更容易。 如下图演示了这些定义。SOA 似乎拥有 企业范围，应用程序在该范围内彼此通信。 SOA 通过应用程序之间的标准化接口来公开服务 。 微服务架构似乎拥有 应用程序范围

六、实战汇总 31.powercenter 字符集 了解源或者目标数据库的字符集，并在Powercenter服务器上设置相关的环境变量或者完成相关的设置，不同的数据库有不同的设置方法； 多数字符集的问题，需要源读和目标写分开来考虑，而不是混为一谈。 31.1 oracle字符集 获取Oracle数据库字符集， 以sys用户登录,select value$ from props$ where name=‘NLS_CHARACTERSET‘; 返回数据库本身的字符集 --ZHS16GBK 设置Oracle环境变量， Windows平台需要在注册表或者环境变量中设置； Linux平台需要修改Profile文件。 使用NLS_LANG=AMERICAN_AMERICA.ZHS16GBK设置 数据库字符集与NLS_LANG不一致时， 以写入字符集NLS_LANG为准，即设置Powercenter服务器环境变量为NLS_LANG=AMERICAN_AMERICA.ZHS16GBK 数据源有两个Oracle数据库，但字符集不一致时， 创建两个集成服务，在集成服务分别设置与对应数据库相同的字符集。 数据源和目标都是Oracle数据库，但字符集不一致时， 源使采用Native驱动，使用NLS_LANG； 目标采用ODBC驱动，在odbc.ini文件中设置对应的字符集信息。 31.2 db2字符集

What is ETL ETL Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。 ETL工具有： OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、Trinity、AICloudETL、DataStage、Repository Explorer、Beeload、Kettle、DataSpider 目前，ETL工具的典型代表有: Informatica、Datastage、OWB、微软DTS、Beeload、Kettle…… 开源的工具有eclipse的etl插件。 cloveretl. 数据集成：快速实现ETL ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性。而影响质量问题的原因有很多，由系统集成和历史数据造成的原因主要包括:业务系统不同时期系统之间数据模型不一致；业务系统不同时期业务过程有变化；旧系统模块在运营、人事、财务、办公系统等相关信息的不一致；遗留系统和新业务、管理系统数据集成不完备带来的不一致性。 实现ETL，首先要实现ETL转换的过程。它可以集中地体现为以下几个方面： - 空值处理：可捕获字段空值，进行加载或替换为其他含义数据

ETL负责将分布的、异构数据源中的数据如关系数据、 平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 旗鼓相当： Datastage 与 Powercenter ： 就Datastage和Powercenter而言，这两者目前占据了国内市场绝大部分的份额，在成本上看水平相当，虽然市面上还有诸如Business Objects公司的Data Integrator、Cognos公司的DecisionStream，但尚属星星之火，未成燎原之势。 谈Datastage和Powercenter，如果有人说这个就是比那个好，那听者就要小心一点了。在这种情况下有两种可能：他或者是其中一个厂商的员工，或者就是在某个产品上有很多经验而在另一产品上经验缺乏的开发者。为什么得出这一结论？一个很简单的事实是，从网络上大家对它们的讨论和争执来看，基本上是各有千秋，都有着相当数量的成功案例和实施高手。确实，工具是死的，人才是活的。 在两大ETL工具技术的比对上，可以从对ETL流程的支持、对元数据的支持、对数据质量的支持、维护的方便性、定制开发功能的支持等方面考虑。 一个项目中，从数据源到最终目标表，多则上百个ETL过程，少则也有十几个。这些过程之间的依赖关系、出错控制以及恢复的流程处理，都是工具需要重点考虑。在这一方面

一、序言 　　 大家或多或少都听过 WebService（Web服务），有一段时间很多计算机期刊、书籍和网站都大肆的提及和宣传WebService技术，其中不乏很多吹嘘和做广告的成 分。但是不得不承认的是WebService真的是一门新兴和有前途的技术，那么WebService到底是什么？何时应该用？ 　　当前的应用程序开发逐步的呈现了两种迥然不同的倾向：一种是基于浏览器的瘦客户端应用程序，一种是基于浏览器的富客户端应用程序（RIA），当然后一种技术相对来说更加的时髦一些（如现在很流行的Html5技术），这里主要讲前者。 　　基于浏览器的瘦客户端应用程序并不是 因为瘦客户能够提供更好的用户界面，而是因为它能够避免花在桌面应用程序发布上的高成本。发布桌面应用程序成本很高，一半是因为应用程序安装和配置的问 题，另一半是因为客户和服务器之间通信的问题。传统的Windows富客户应用程序使用DCOM来与服务器进行通信和调用远程对象。配置好DCOM使其在 一个大型的网络中正常工作将是一个极富挑战性的工作，同时也是许多IT工程师的噩梦。事实上，许多IT工程师宁愿忍受浏览器所带来的功能限制，也不愿在局 域网上去运行一个DCOM。关于客户端与服务器的通信问题，一个完美的解决方法是使用HTTP协议来通信。这是因为任何运行Web浏览器的机器都在使用 HTTP协议。同时

0 - 思路 　　Stacking是许多集成方法的综合。其主要思路如下图所示，通过训练数据训练多个base learners（the first-level learners），这些learners的输出作为下一阶段meta-learners（the second-level learners）的输入，最终预测由meta-learners预测结果得到。 1 - 算法 　　具体地算法如下图所示（图片引自 博客 ）。在第一阶段，采用$K$折交叉验证，首先将训练数据$X_{n\times m}$和对应标签$y_{n}$分成$K$份，训练$K$个base-learners，对于第$i$（$i=1,\cdots,K$）个base-learner，将第$i$份数据作为验证集，其余$(K-1)$份数据作为训练集进行训练。而后，将第$i$个base-learners对于各自验证集的预测结果$y_{n_i}^{(i)}$（如图中"Predict"橘红色所示）组合起来，即得到和训练数据规模一样的预测结果$y_{n}^{stage1}$（如图中"Predictions"橘红色所示）。将这个第一阶段的预测结果$y_{n}^{stage1}$以及对应的标签$y_{n}$作为第二阶段的meta-learners的训练数据进行训练即可。 　　在测试过程中，假设对于测试数据$X_{n\times m}^{test

最近一个碰到一个串口数据解析的bug，调试了整整7天，从排除问题，优化代码，到真正发现问题所在， 期间经历感觉好像找到了bug，其实是找到的另外一个bug，期间不断排雷， 不断惊喜，不断 失望，以为找到问题所在，其实并没有找到核心问题。 现在对此记录一下。 1 场景描述： 模块功能：以100ms 速度，对外发送各种不同类型数据，都是接受相同类型的数据。 测试： A1 程序运行在ubuntu上，通过usb转串口，连接无线小模块，进行数据收发。 A2 程序运行在另外一台ubuntu上，通过usb转串口，连接无线小模块，进行数据收发。 2 诡异现象描述 每次都在 new 一个对象处出现段错误，由于此对象是由google的protobuf 框提供的技术，进行创建 ，由该第3库进行内存管理， new后，框架进行释放。所以 一开始，将问题定在此处，以为是内存不足导致。经实际以top进行观察，发现内存的 使用率，并不高，大概在0.3%左右进行波动，那么排除内存不足 问题。 错误信息提示，memory corruption (fast) . 显示内存溢出，又继续查看所有的线程中使用的new，发现 仍然一无所获 ，实在 调不 下去了。 3 改变调试思路 1 只运行A1程序，取消串口上的无线小模块，将串口的收发互联进行测试。代码可以一直跑下去，不出错误。 2 使用2台电脑，进行互测取消掉，无线模块

集成学习 基本概念 集成学习(Ensemble Learning)的 思想 是将若干个学习器(分类|回归)组合之后产生一个新的学习器， 如何产生“好而不同”的个体学习器，是集成学习研究的核心 ； 一般性用于集成的学习器都为 弱学习器 ，即学习器的预测精度不需要太高但是应该好于随机预测的结果； 集成学习 算法的成功 在于保证了弱分类器的多样性(Diversity)，即学习器之间具有 差异性 弱分类器间存在一定的差异性，会导致分类的边界不同，即会存在错误；但当多个弱分类器合并后，就可以得到更加合理的边界，能减少错误率，实现更好的效果； 对于数据集过大/过小，可以进行划分/有放回抽样的操作产生不同的数据子集，然后使用数据子集训练不同的学习器，最后合并成一个大的学习器 若数据划分边界过于复杂，使用线性模式很难描述，可以训练多个模型，后将模型进行合并； 对于多个异构的特征集的时候，很难进行融合，那么可以考虑每个数据集构建一个学习器模型，然后将多个模型融合 常见的集成算法有： Bagging Boosting Stacking 按照集成方式划分： 串行集成方法：通过串行的方法生成基础模型(如AdaBoost)；串行集成的 基本动机 是利用基础模型之间的依赖，给被错分的样本一个较大的权重来提升性能； 并行集成方法：并行的生成基础模型(若Random Forest)；并行集成的 基本动机

开放架构，无限价值——漫谈SuperMap GIS的开放式体系架构 这是一篇2012年的老文章，今天看来还有价值。 开放平台已经成为一个大趋势。本文将探讨开放平台概念的内涵，SuperMap GIS的体系架构组成和为开发者提供的开放平台价值，介绍SuperMap平台扩展应用的多种技术方式以及GIS应用系统随着架构发展升级的技术路线图。 开放体系架构简介 致力于建设一个支撑性和兼容性高、稳定性和适应性强、灵活性和扩展性好的架构，是GIS基础平台厂商一致追求的最高目标。因为，只有稳定的架构，才能很好 地支撑业务系统的不断发展，保护二次开放商和最终用户的投资，让其IT资产不断增值，带来足够的回报，从而形成良性的循环，并进一步支持软件平台的持续发展。 1. 开放平台基本概念 开放平台将系统的API通过标准化的方式来实现，让更多的人可以直接调用系统平台的功能，从而可以实现更好的融合和个性化定制，更好地满足最终用户独特的业务需求。 开放平台不是简单地开放系统的函数或者直接开放源代码就可以实现的，而是需要付出更多的努力，才能完全实现方便的数据集成、功能融合和流程整合的用户体验，达到真正开放的效果。成为一个开放平台，需要满足下面的五点基本要求： 首先，开放平台要有存在的核心价值。有不少的系统采用了开源的形式，但是没有什么应用价值，就很难作为一个平台长期发展下去。一个成功的开放平台