数据建模

第十二章 信息系统 12.1 信息管理 1.信息系统(unformation system):帮助我们组织和分析数据的软件。 2.三种最流行的一般应用信息系统是电子表格、数据库管理系统和电子商务。 数据库管理系统是面向大量常常被搜索的数据，并将其组织成相应的小节。 12.2 电子制表软件 1.电子制表软件(spreadsheet):允许用户用单元格组织和分析数据的程序。 2.单元格(cell):电子数据表 3.可以用行列标号引用电子数据表的单元格，通常用字母指示列，用数字指示行。对于第26列之后的列，电子制表软件用两个字母作为列标号。 4.通常，电子数据表有一个合理的最大行数，如256。另外，大多数电子制表程序会把会把多个表格组合在一个大的交互系统中。 5.大多数电子制表软件允许用户控制单元格中的数据的外观和形式。用户可以设置数据的字体、样式、颜色和对齐方式。对于实数值，可以设置显示多少位小数。在大多数电子制表软件中，用户还能够设置是否显示网格线、背景颜色或单元格的图案。 12.2.1 电子数据表公式 1.电子数据表中的公式可以利用使用标准符号(+、-、* 和/)的基本数学计算，还可以利用软件内置的电子数据表函数。 电子数据表函数(spreadsheet function):电子制表软件提供的可用于公示的计算函数。 2.由于函数通常作用于一系列连续的单元格

工程实践题目：面向消费电子产品的搜索引擎设计 0x00 业务领域建模，模型由元素和元素间的关系组成，对业务建模的主要是分清项目该做什么，不该做什么，了解目标组织（将要在其中部署系统的组织）的结构及机制。 0x01应用域信息 从用户的角度出发分析： 完成一次信息检索首先需要需要登录到网站，输入需要搜索的关键字内容或者设置检索条件。从返回的搜索结果种选择自己感兴趣的信息，进行各种产品的对比。 项目的业务主角主要是用户。 0x02重要的域 用户：搜索事件的发起者，主要有登录及注册、搜索某产品，对比各类产品的属性，收藏产品 管理员：系统的维护者，负责控制的数据的爬取，建立数据的索引，是用户服务的提供者，其主要属性有：登录、管理爬虫、数据维护、管理用户信息。 用户与管理员之间为相互依赖的关系。 0x03类和对应属性 用户： 　　属性：id、密码、搜索信息、喜好 　　方法：全文搜索、条件检索、产品对比、登录、注销、添加产品收藏 管理员： 　　属性：id、密码、权限 　　方法：发布数据、爬取数据、限制用户行为、清洗数据 0x04图 用例图： UML类图： 来源： https://www.cnblogs.com/pyinal/p/11901548.html

说说概要设计 概要设计是一个设计师根据用户交互过程和用户需求来形成交互框架和视觉框架的过程，其结果往往以反映交互控件布置、界面元素分组以及界面整体板式的页面框架图的形式来呈现。这是一个在用户研究和设计之间架起桥梁，使用户研究和设计无缝结合，将对用户目标与需求转换成具体界面设计解决方案的重要阶段。 概要设计的主要任务是把需求分析得到的系统扩展用例图转换为软件结构和数据结构。设计软件结构的具体任务是：将一个复杂系统按功能进行模块划分、建立模块的层次结构及调用关系、确定模块间的接口及人机界面等。数据结构设计包括数据特征的描述、确定数据的结构特性、以及数据库的设计。显然，概要设计建立的是目标系统的逻辑模型，与计算机无关。 你如何划分领域边界 # 【领域驱动设计】浅谈聚合的划分与设计 聚合以及聚合根是领域驱动设计中的重要概念，根据定义，聚合是针对数据变化可以考虑成一个单元的一组相关的对象。聚合使用边界将内部和外部的对象划分开来。每个聚合有一个根。这个根是一个实体，并且它是外部可以访问的唯一的对象。根可以保持对任意聚合对象的引用，并且其他的对象可以持有任意其他的对象，但一个外部对象只能持有根对象的引用。如果边界内有其他的实体，那些实体的标识符是本地化的，只在聚合内有意义（参见《领域驱动设计-精简版》第42页）。从定义上看，貌似针对特定上下文的领域模型来讲，聚合的划分与设计并不那么困难

基本概念: DW (Data Warehouse) 是一个面向主题的(Subject Oriented), 集成的(Integrated), 相对稳定的(Non-Volatile), 反映历史变化(Time Variant)的数据集合，用于支持管理决策(Decision Making Support)。 ODS (Operational Data Store) 是一个面向主题的, 集成的, 可变的, 当前细节数据集合。 用于支持企业对于即时性的, 操作性的, 集成的全体信息的需求。 与数据仓库(DW)的区别: ODS 是短期的实时的数据, 供产品或者运营人员日常使用, 而数据仓库是供战略决策使用的数据 ODS是可以更新的数据, 数据仓库是基本不更新的反应历史变化的数据 ODS 作为数据库到数据仓库的一种过渡形式, 与数据仓库在物理结构上不同, 能提供高性能的响应是见, ODS设计采用混合设计方式。 ODS中的数据是"实时值", 而数据仓库的数据却是"历史值", 一般ODS中储存的数据不超过一个月, 而数据仓库为10年或更多。 DM (Data Mart) 为了特定的应用目的或应用范围, 而从数据仓库中独立出来的一部分数据, 也可称为部门数据或主题数据(subjectarea)。 在数据仓库的实时过程中往往可以从一个部门的数据集着手, 以后再用几个数据集市组成一个完整的数据仓库。

一. 工程实践项目分析 在使用用例以及用例建模的方法之前，我简要介绍一下我的工程实践项目： 首先，我所选的是一个企业项目，题目为 “物联网组网智能分析引擎” ； 其次，项目描述为：通过爬取现有物联网设备组网的数据或采用现场调研的方式，运用数据挖掘方法对这些数据进行分析，为开发新型物联网设备提供参考与依据。数据分析结果可以包括成本、典型组网方式、开发周期、测试标准、交付周期、功能。 所以，能够提取出其中的关键词为：物联网；数据挖掘及可视化； Web 编程等。 下面的内容主要分为两个部分，一是叙述用例一些基本知识，二是针对于我的工程实践项目，展示用例的分析以及建模的过程。 二. 用例建模的作用与步骤 2.1 什么是用例方法？优势何在？ 首先来看一下传统的需求表述方式——"软件需求规约"(Software Requirement Specification)。 传统的软件需求规约基本上采用的是功能分解的方式来描述系统功能，在这种表述方式中，系统功能被分解到各个系统功能模块中，我们通过描述细分的系统模块的功能来达到描述整个系统功能的目的。 采用这种方法来描述系统需求，非常容易混淆需求和设计的界限，这样的表述实际上已经包含了部分的设计在内。由此常常导致这样的迷惑：系统需求应该详细到何种程度？一个极端就是需求可以详细到概要设计，因为这样的需求表述既包含了外部需求也包含了内部设计

我的工程实践项目是面向大数据分析的成绩预判系统，在日常学习过程中产生的大量数据（期中考试成绩、多次实验分数等）及相关学生的评价信息，并通过有效的数据分析技术可以对教学过程提供有益的决策支持。 1.抽取Abstract use case 根据成绩预判的工作流程，我将其分为三部分：获取数据，创建模型和进行预判 2.确定用例范围High level use case 获取数据用例包括获取日常学习过程中产生的大量数据（期中考试成绩、多次实验分数等）及相关学生的评价信息 创建模型部分，需要对预处理后的数据建立模型，采用数据挖掘及机器学习等理论，通过大量的基础数据，建立相关模型。 预判部分，用户输入信息后需要对其进行解析，然后返回预判结果 3.画出用例图 来源： https://www.cnblogs.com/lcw12356/p/11786123.html

我的工程实践题目是基于NVM SSD的硬件特征优化的kv数据库，所以整个系统的用例分析非常简单，系统的用户只有db api的调用者，提供的只有增加数据、修改数据、查找数据、删除数据这几个功能。 Abstract use case High level use case 1. 添加数据 TUCBW：用户数据输入所要添加数据的key和value TUCEW：用户得到是否添加成功的返回信息 2.修改数据 TUCBW：用户输入所要修改数据的key和value TUCEW：用户得到是否修改成功的返回信息 3.查找数据 TUCBW：用户输入所要查找数据的key TUCEW：用户得到是否查找成功的返回信息以及数据的value 4.删除数据 TUCBW：用户输入所要删除数据的key TUCEW：用户得到是否删除成功的返回信息 来源： https://www.cnblogs.com/ustc-yz/p/11784864.html

我的工程实践项目是完成一个搜索引擎主要搜索网关信息，项目的需求很简单，就是能够对网关产品信息搜索 1.抽取Abstract use case 根据搜索引擎的工作流程，我将其分为三部分：获取数据，索引库管理和搜索 2.确定用例范围High level use case 我们课题小组将搜集到网关信息整理后做成数据库 索引库管理部分，需要对预处理后的数据建立索引库，包括建立反转列表和各类数据结构 搜索部分，提供给用户搜索界面，用户输入关键词后需要对其进行解析，然后查询索引库，返回最符合的结果 3.画出用例图 来源： https://www.cnblogs.com/chengguorui/p/11767217.html

机器学习作为近几年的一项热门技术，不仅凭借众多“人工智能”产品而为人所熟知，更是从根本上增能了传统的互联网产品。在近期举办的2018 ArchSummit全球架构师峰会上，个推首席数据架构师袁凯，基于他在数据平台的建设以及数据产品研发的多年经验，分享了《面向机器学习数据平台的设计与搭建》。 一、背景：机器学习在个推业务中的应用场景 作为独立的智能大数据服务商，个推主要业务包括开发者服务、精准营销服务和各垂直领域的大数据服务。而机器学习技术在多项业务及产品中均有涉及：基于用户画像的智能推送，商圈景区人流量预测，个性化内容推荐，用户流失以及留存周期的预测等。 二、具体开展机器学习的过程 1、原始数据经过数据的ETL处理，入库到数据仓里。 2、上面蓝色部分代表机器学习：首先把样本数据与我们的自有数据进行匹配，然后洞察这份数据并生成特征，这个过程叫特征工程。接下来基于这些特征，选择合适的算法训练后得到模型，最终把模型具体应用到全量的数据中，输出预测的结果。 标准的机器学习工作流：针对业务上产生的具体问题，我们把它转化成数据问题，或者评估它能否用数据来解决。将数据导入并过滤后，我们需要将数据与业务问题和目标进行相关性分析，并根据具体情况对数据做二次处理。 下一步我们进行特征工程。从数据里找出跟目标有关的特征变量，从而构建或衍生出一些特征，同时要把无意义的特征剔除掉。我们大概需要花80

基于Logistic回归的申请评分卡模型开发 基本申请评分卡建模流程： 1.数据准备：收集并整合在库客户的数据，定义目标变量，排除特定样本。 2.探索性数据分析：评估每个变量的值分布情况，处理异常值和缺失值。 3.数据预处理：变量筛选，变量分箱，WOE转换、样本抽样。 4.模型开发：逻辑回归拟合模型。 5.模型评估：常见几种评估方法，ROC、KS等。 6.生成评分卡 1. 数据准备 因为不同评级模型所需要的数据也是不同的，所以在开发信用评级模型之前，要先明确我们需要解决的问题。 1.1 排除一些特定的建模客户 用于建模的客户或者申请者必须是日常审批过程中接触到的，需要排除异常情况。如 欺诈，特殊客户。 1.2 明确客户属性 根据不同的数据来源，可以分为以下几类： 1.人口统计特征：客户的基本特征，如性别，年龄、居住情况、年收入等 2.征信机构数据和外部评分:如人行征信报告、芝麻分等。 3.其他数据来源。 1.3 目标变量的确立 预测模型的一个基本原理是用历史数据来预测未来，申请者评分模型需要解决的问题是未来一段时间（如12个月）客户出现违约（如至少一次90天或90天以上逾期）的概率。先将客户标签定义为二分类，不良/逾期：观察窗口内，观察窗口内，60/90/120天算逾期日期；良好:从未或截止逾期；从未或在观察期内截止逾期 其中关于不良/逾期需要界定以下两项内容：确定违约日期时长