数据建模

转自： https://www.jianshu.com/p/8378b80e4b21 从业务数据模型转向数据仓库模型时，同样也需要有数据仓库的域模型，即概念模型，同时也存在域模型的逻辑模型。这里，业务模型中的数据模型和数据仓库的模型稍微有一些不同。主要区别在于：数据仓库的域模型应该包含企业数据模型得域模型之间的关系，以及各主题域定义。数据仓库的域模型的概念应该比业务系统的主题域模型范围更加广。在数据仓库的逻辑模型需要从业务系统的数据模型中的逻辑模型中抽象实体，实体的属性，实体的子类，以及实体的关系等。Inmon 的范式建模法的最大优点就是从关系型数据库的角度出发，结合了业务系统的数据模型，能够比较方便的实现数据仓库的建模。但其缺点也是明显的，由于建模方法限定在关系型数据库之上，在某些时候反而限制了整个数据仓库模型的灵活性，性能等，特别是考虑到数据仓库的底层数据向数据集市的数据进行汇总时，需要进行一定的变通才能满足相应的需求。维度建模法（Dimensional Modeling）维度模型是数据仓库领域另一位大师Ralph Kimall所倡导，他的《The Data Warehouse Toolkit-The Complete Guide to Dimensonal Modeling，中文名《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型

1 install.packages("parallel") 2 library("parallel") 3 install.packages('doParallel') 4 library("doParallel") 5 6 n_Cores <- detectCores()##检测你的电脑的CPU核数 7 cluster_Set <- makeCluster(n_Cores)##进行集群 8 registerDoParallel(cluster_Set) 参考了https://blog.csdn.net/weixin_36220483/article/details/52639469 完整的R语言预测建模实例-从数据清理到建模预测

我的工程实践项目是完成一个面向特定主题的搜索引擎，小组最后决定做电子产品的搜索，项目的需求很简单，就是能够对电子产品信息进行深度和专业化的搜索 1.抽取Abstract use case 根据搜索引擎的工作流程，我将其分为三部分：获取数据，索引库管理和搜索 2.确定用例范围High level use case 获取数据用例包括爬取网页和对爬来的数据进行预处理（过滤无关和重复网页，解析文档，分词） 索引库管理部分，需要对预处理后的数据建立索引库，包括建立反转列表和各类数据结构，同时要考虑索引的更新问题 搜索部分，提供给用户搜索界面，用户输入关键词后需要对其进行解析，然后查询索引库，对查询的文档进行打分，返回最符合的结果 3.画出用例图 来源： https://www.cnblogs.com/cccc2019fzs/p/11762529.html

我的工程实践课题为“传感器智能分析引擎”，通过爬取现有传感器供应商的数据或采用现场调研的方式，运用数据挖掘方法对这些数据进行分析，为开发新型物联网设备提供参考与依据。 1、抽取Abstract use case 基于信息的管理和访问两个角度，可划分为网站管理人员Developer和客户Customer 2、用例图 3、High Level use case 对于Developer，可以将功能模块主要划分为如下： （1）数据可视化设计：提供可视化模版和样式，丰富数据的表现形式。 （2）数据库维护：对后台信息库进行“增删改查”操作。 （3）用户信息管理：管理账户资料，赋予不同权限等。 对于Customer，可以将功能模块主要划分为如下： （1）注册 （2）登陆 （3）提需求：有两种方式，与管理员站内信或者留言 （4）信息检索：按照自身不同权限，进行数据查询 （5）可视化已有数据集：根据网站提供的可视化样式进行数据展示 4、Expanded use case分析 整套系统的功能相对基础，这里针对交互最多的“信息交流”分析。 信息流向应该是双向的，管理员可以和访问者之间直接交流；而用户间则不方便直接交流，这样的效率也不高，建立一个类似讨论区的模块，用户可以在此交流意见，管理员也能够很方便地从中搜集合理的反馈意见；除此之外，最好在每一次数据库信息修改的时候，都能够直接通知到用户

大数据分析场景和模型应用 数据分析建模需要先明确业务需求，然后选择是 描述型分析 还是 预测型分析。 如果分析的目的是描述目标行为模式，就采用描述型数据分析，描述型分析就考虑 关联规则、 序列规则 、 聚类 等模型。 如果是预测型数据分析，就是量化未来一段时间内，某个事件的发生概率。有两大预测分析模型， 分类预测 和 回归预测。 常见的数据建模分类 分类与回归 分类：是通过已有的训练样本去训练得到一个最优模型，再利用这个模型将输入映射为相应的输出，对输出进行简单的判断从 而实现分类的目的，也就具有了对未知数据进行分类的能力。 回归：是基于观测数据建立变量间适当的依赖关系，以分析数据内在的规律，得到响应的判断。并可用于预报、控制等问题。 应用： 信用卡申请人风险评估、预测公司业务增长量、预测房价，未来的天气情况等 原理： 回归：用属性的 历史数据 预测未来趋势。算法首先假设一些已知类型的函数可以匹配目标数据，然后分析匹配后的误差，确定 一个与目标数据匹配程度最好的函数。回归是对真实值的一种 逼近预测。 分类：将数据映射到 预先定义的 群组或类。算法要求基于数据 特征值 来定义类别，把具有某些特征的数据项映射到给定的某个 类别上。分类并没有逼近的概念，最终正确结果只有一个。 在机器学习方法里，分类属于监督学习。 区别： 分类模型采用 离散预测值，回归模型采用 连续的预测值。 聚类 聚类

在进行机器学习建模时，为什么需要评估集（validation set）？ 　　笔者最近有一篇文章被拒了，其中有一位审稿人提到论文中的一个问题：”应该在验证集上面调整参数，而不是在测试集“。笔者有些不明白为什么除了训练集、测试集之外，还需要额外划分一个验证集。经过查找资料，在《Deep Learning with Python》这本书上面我发现了比较好的解释，于是将这部分内容摘录在本博文中，并且翻译为中文。 　　下文摘自《Deep Learning with Python》4.2小节，翻译如下： 　　不在同样的数据上面验证模型的原因显然在于：在几轮训练之后，模型就会过拟合。即，相较于模型在训练数据上一直在变好的表现，模型在新样本上的表现会在某一时刻开始变差。 　　机器学习的目的是构造有很强泛化能力—在新样本上有着良好的表现—的模型，而过拟合是我们需要重点解决的问题。这一小节，我们将会聚焦于如何去衡量模型的泛化能力：如何去评估模型。 　　 训练集、验证集和测试集 　　 评估模型的重点在于将可用数据还分为三个部分：训练集(training set)、验证集(validation set)和测试集(test set)。在训练集上面训练模型，并且在验证集上面评估模型。一旦模型被准备好，最后就在测试集上面测试模型。 　　为什么不直接使用两个数据集：一个训练集和一个测试集

机器学习现在在很多地方都是十分流行，无论现在的你是否从事建模工作，还是你将来想从事相关工作，对于从业者可以从中看出一些同感与意见，对于未来从业者可以了解这个职业到底是做些什么。 话不多说，一个机器学习模型的开发周期一般可以分为： 1、业务需求挖掘（Business insight） 2、数据搜集处理（Data Curation） 3、模型训练开发（Modeling） 4、部署及测试上线（Deployment） 5、模型闭环监控及继续优化（Feedback & Improvement） 本文也是按照这个结构来进行展开总结与思考。 01 业务需求挖掘（Business insight） 当我们接到业务需求的时候，第一件事情需要了解的，就是需求的整体逻辑。一个合理的产品设计通常都是与业务痛点相挂钩的。如果业务提出一个比较空泛的需求，如： 我想要提高一下营销成功率，帮我搞个模型吧。 这个时候，我们需要沉住气,，有的时候数据建模师也需要充当起“心理辅导员”，慢慢引导业务说出实际的业务痛点与需求，好让我们对症下药（当然靠谱且有经验的业务是不会犯这种行为的）。在经过若干分钟的业务了解，其实业务真正想提高的，是 最后的审批通过率 ，而继续了解，发现是由于最近业务的增长，电销人员的人手不足，导致审批的效率低下，而真正有意愿购买产品的客户被营销的可能性降低，导致最终的整体转换率过低。 了解过后

0. 题型 0.1 内容要求 摘要字数在 400 字以内，可以分条叙述，但不允许有图、表和流程图。 正文字数为 2000 字至 3000 字，文中可以分条叙述，但不要全部用分条叙述的方式。 0.2 题目 第一题 介绍主题相关的项目 可以包含以下内容 开发背景 总体需求 采用的技术体制 （使用该技术/方法的、该项目的）动机与期望 介绍担任的主要工作 第二题 理论描述，因主题而异 第三题 如何应用到项目中的，比如用到里理论中提到的哪些概念，又是如何实现的，实施效果又如何。 遇到了哪些问题，又是怎么解决的，实施效果又怎么样？ 0.3 注意 细心审题，问的是什么 备考阶段要专心于自己最熟悉、最复杂、最高级的系统或项目，因此这个系统或项目中自己不熟悉的部分就不要准备了，免得到时候瞎扯。所以后面这种都加上了 删除线 。 1. 软件架构（体系结构）设计 2018，论软件体系结构的演化 软件体系结构的演化是在构件开发过程中或软件开发完毕投入运行后，由于用户需求发生变化，就必须相应地修改原有软件体系结构，以满足新的变化了的软件需求的过程。体系结构的演化是一个复杂的、难以管理的问题。 概要叙述你参与管理和开发的软件项目以及你在其中所承担的主要工作。 软件体系结构的演化是使用系统演化步骤去修改系统，以满足新的需求。简要论述系统演化的6个步骤。

理解数据是控制任何企业的先决条件。但只有当这些知识能够被分享和传播时，理解才是有用的。有效的数据建模应该是任何企业架构师的首要关注点。 在我的上一篇文章中，我认为理解一个企业的数据是指导一个企业的核心。但理解只是问题的一半。另一半是能够记录这种理解并与他人分享。 如果没有对数据的共同理解，就谈不上跨系统或组织的共享数据。传统上，这是通过使用数据字典来完成的--这些文件旨在解释数据结构中每个字段的内容和格式。可悲的现实是，这些文档必须手动创建和更新，因此很少会进行更新。其结果是往往会出现过时的、无用的文档和沮丧的架构师和开发人员。但其实还有更好的办法。 正确完成建模 在过去的几十年里，数据建模的努力通常集中在关系数据建模或可扩展标记语言(XML)的建模上。只要数据存储在关系数据库中，关系数据建模就会很好，但除此之外，它很少会有其他的用途。而且XML也不能被可靠地称为建模语言。XML是序列化数据的规范--即定义了如何将数据写入文件。XML为构造数据的序列化提供了一种格式，但它不是一个真正的模型。 我所说的“模型”指的是以数学为基础的形式规范。实际上，这意味着是可以使用形式化方法进行验证的东西。通俗地说，这意味着我们可以用数学运算来证明它是正确的，并且我们可以使验证过程自动化。而在XML模式中捕获数据不符合此定义下的模型。但可以肯定的是，我们可以使用软件来验证该XML格式是否良好

目录 1.数据取样 （1）抽取标准 （2）抽样方法 2.数据整理 （1）数据探索 （2）数据预处理 3.挖掘建模 4.模型评价 1.数据取样 （1）抽取标准 相关性 可靠性 有效性 （2）抽样方法 随机抽样： 若数据集中每组观察值都有相同被抽样概率，则可随机抽样。 等距抽样： 对一组观测值进行等间隔抽样。 分层抽样： 首先将样本总体分成若干层次（或者若干子集）。每个层次中的观测值具有相同被选中的概率，但不同层次数据集可具有不同概率值。 从起始顺序抽样： 从输入数据集的起始处开始抽样。 分类抽样： 依据某种属性取值选择数据子集，如按客户名称分类、按地址分类等。分类抽样以类为单位，在每类数据中抽样。 2.数据整理 （1）数据探索 异常值分析 缺失值分析 相关性分析 周期性分析 （2）数据预处理 数据筛选 数据变量分析 缺失值处理 坏数据处理 数据标准化 主成分分析 属性选择 数据规约 3.挖掘建模 分类 聚类 关联规则分析 时序模式 智能推荐 4.模型评价 来源： https://blog.csdn.net/qq_35350265/article/details/100972351