测试模型

软件工程的目标是：在给定成本、进度的前提下，开发出具有适用性、有效性、可修改性、可靠性、可理解性、可维护性、可重用性、 可移植性 、可追踪性、可 互操作性 和满足用户需求的软件产品。追求这些目标有助于提高软件产品的质量和开发效率，减少维护的困难。 （1）适用性：软件在不同的系统约束条件下，使用户需求得到满足的难易程度。 （2）有效性：软件系统能最有效的利用计算机的时间和空间资源。各种软件无不把系统的时/空开销作为衡量软件质量的一项重要技术指标。很多场合，在追求时间有效性和空间有效性时会发生矛盾，这时不得不牺牲时间有效性换取空间有效性或牺牲空间有效性换取时间有效性。时/空折衷是经常采用的技巧。 软件的概念： 软件是计算机系统中与硬件相互依存的另一部份，是程序、数据、以及相关文件的完整集合。程序是事先设计的功能要求执行的序列。数据是使得程序能征程操作信息的数据结构。文档是程序开发，维护和利用的有关图文和材料。软件的表现形式分为有形和无形，软件的有形表现在软件的的文档、程序、代码、用户界面、输出表报、等。软件的无形部分表现在：软件的内部逻辑，是软件自身的设计思想。 软件危机：软甲危机是软甲开发和软件维护。具体产生的原因有对软件的成本和进度的估计不是准确，项目管理经验缺乏。用户对已完成的软件系统不是很满意，模糊的设计需求、闭门造车、盲与编程、交付日期没有保证。软件的产品质量靠不住

软件生命周期 软件测试要经过一个什么样的过程呢，这就要从软件的生命周期开始说起了。 软件生命周期又称为软件生存周期或系统开发生命周期，是软件的产生直到报废的生命周期。 整个生命周期包括问题定义与规划、需求分析、系统设计、软件编程、软件测试、软件运维等阶段。 在周期内，无论是开发还是测试都依赖于某个模型进行作为依据，有效地提高开发、测试效率。 软件开发模型 在软件开发的实践中，总结了很多软件的开发模型来描述和表示一个复杂的开发过程，如果瀑布模型、快速原型模型、螺旋模型等。 软件测试与软件开发模式有着紧密的关系，作为一名测试人员，应该充分理解软件的开发模式，尽快的找准自己的位置，从而尽快的发挥自己的价值。 瀑布模型 瀑布模型是线性模型的一种，在所有的模型中占有重要的地位，是所有其他模型的一个基础。 瀑布模型如同工地里的建造盖房流程，使用里程碑的方式，严格定义了各开发阶段的输入和输出。如果达不到要求的输出，下一阶段的工作就不展开。 测试的切入点，开发完成后，必须留给测试足够的时间给测试人员，否则可能会导致测试不充分，导致很多问题到项目的后期才体现出来。 优点 明确划分了软件生命周期的各个环节。 强调早期软件计划，需求分析比较重要。 清晰的工作流程，便于分工协作。 适合需求稳定的产品开发。 每个阶段都有一个检查点。 缺点 线性的开发流程，存在巨大的风险。 依赖于早期的需求调查

#导入必要的包 import numpy as np import pandas as pd import matplotlib as mpl import matplotlib.pyplot as plt %matplotlib inline 构建一个KNN分类器 假设输入数据集最后一列是标签，其余列是特征列，训练集是train 测试集是test 二者分开输入，传入格式均为DF In [6]: def classify0_1(train,test,k):#train数据集 test 测试集 k=k值 n = train.shape[1] - 1 m = test.shape[0] result = [] for i in range(m): #利用广播计算测试集每一行分别对训练集求距离 得到Series 并转换成list赋值给dist dist = list(((train.iloc[:, :n] - test.iloc[i, :n]) **2).sum(1)) #得到距离数值与标签列生成的DataFram dist_l = pd.DataFrame({'dist': dist, 'labels': (train.iloc[:,n])}) #按照距离排序（默认升序）截取前K行 dr = dist_l.sort_values(by = 'dist')[: k]

在服务化之前，业务通常都是本地API调用，本地方法调用性能损耗较小。服务化之后，服务提供者和消费者之间采用远程网络通信，增加了额外的性能损耗，业务调用的时延将增大，同时由于网络闪断等原因，分布式调用失败的风险也增大。如果服务框架没有足够的容错能力，业务失败率将会大幅提升。 除了性能、可靠性等问题，跨节点的事务一致性问题、分布式调用带来的故障定界困难、海量微服务运维成本增加等也是分布式服务框架必须要解决的难题。本章节我们将对服务化之后面临的挑战进行分析，并给出解决方案和业务最佳实践。 1. 性能和时延问题 在服务化之前，业务通常都是本地API调用，本地方法调用性能损耗较小。服务化之后，服务提供者和消费者之间采用远程网络通信，增加了额外的性能损耗： 1） 客户端需要对消息进行序列化，主要占用CPU计算资源。 2） 序列化时需要创建二进制数组，耗费JVM堆内存或者堆外内存。 3） 客户端需要将序列化之后的二进制数组发送给服务端，占用网络带宽资源。 4） 服务端读取到码流之后，需要将请求数据报反序列化成请求对象，占用CPU计算资源。 5） 服务端通过反射的方式调用服务提供者实现类，反射本身对性能影响就比较大。 6） 服务端将响应结果序列化，占用CPU计算资源。 7） 服务端将应答码流发送给客户端，占用网络带宽资源。 8） 客户端读取应答码流，反序列化成响应消息，占用CPU资源。

在本文中，我们讨论如何快速地从更高的层面理解DevOps，介绍准备改变文化的最佳实践。我们将讨论DevOps的目标以及从组织管理层得到支持的方法，为DevOps的概念打下基础。我们将试着从根本上介绍使应用程序生命期管理简单、高效的DevOps实践。 DevOps不是一种框架、工具或者技术，理解这一点非常重要。它更多的是与组织的文化有关。DevOps还是人们在组织中使用预先定义的过程、利用自动化工具，使日常工作更加高效、手工工作更少的一种方法。 为了理解DevOps的重要性，我们在本文中将包含如下主题： DevOps的必要性； 如何发展DevOps文化； PPT（人、过程和技术）的重要性； 为什么DevOps不全和工具有关； DevOps评估问题。 1.1　DevOps的必要性 每个伟大的梦想都源于梦想家。永远铭记，你拥有的力量、耐心和热情，可以令你摘星揽月、改变世界。 改变是生命的法则，也适用于组织机构。如果任何组织或者个人只盯着过去或者现有的模式、文化或实践，他们就肯定会错失未来的最佳实践。在动态的IT世界中，我们必须赶上技术革新的步伐。 我们可以参考乔治•萧伯纳的名言： 不改变就不可能进步，无法改变自己的想法，就不能改变任何东西。 现在，我们关注的是应用程序生命期管理方法的改变。重要的是，我们是否真的需要这种改变？我们是否真的需要经历改变的痛苦？ 答案是肯定的。 人们可能会说

交叉验证， 每一折都对应一个模型，例如5折交叉验证就需要训练5个模型。 交叉验证重点在于验证，通过模型在验证集上的表现，来选择相应的参数，交叉验证，会让验证值更为可靠。 对于有独立测试集的数据，用不用交叉验证来调参根据实际情况，这个时候交叉验证是可有可无的，因为只要测试集是一样的，其他的不管怎么样都行。 对于需要自己划分测试集的情况，模型最终在测试集上的表现，是需要进行，交叉验证的，应该说是交叉测试，因为测试集是随机的，不具有说服力，进行交叉测试用到了全部的数据，这样更有说服力。 对于有独立测试集的情况，在划分训练集和验证集之后，同样可以使用交叉验证，训练多个模型，然后多个模型在测试集上进行测试，最后结果取平均。大家在论文上作指标比较的时候，需要通过前面论文报道结果的方式来选择对应的计算方式，这样才公平。 最终论文报道的结果都是，跑过多次，然后取最高值，因为大家都这样做（滑稽）。 通过验证集上的表现来选择模型参数，一般使用early stop。 我个人是不太喜欢交叉验证的，因为交叉验证浪费时间，神经网络训练一次需要不少时间。 来源： https://www.cnblogs.com/mlgjb/p/11719925.html

模型评估与选择 经验误差与过拟合 （1）错误率：分类错误的样本数占样本总数的比例 精度：1 \(-\) 错误率 （2）误差：学习器的实际输出与样本真实值之间的差异 误差有训练误差和泛化误差两种。训练误差指的是学习器在训练集上的误差，也称为经验误差；泛化误差指的是在新样本上的误差。 (但是，对于训练样本，其分类精度即使是100%，也并不一定代表这个学习器就很好。我们希望得到的是泛化误差小的学习器) （3）过拟合：承接第2点括号内的内容，我们希望得到的学习器，是在新样本上表现很好的学习器，也就是泛化误差尽可能小。为此，应该尽量从训练集上尽可能学出适用于所有潜在样本的普遍规律。然而，学习器把训练样本学得太好了的时候，往往可能会将训练样本自身的特点当作所有潜在样本都会有的性质，这就是过拟合现象。 ​ 而与过拟合现象对应的，是欠拟合现象。欠拟合现象指的是学习器对训练样本的一般性质还没学好。 例如，对于一个判断是否是树叶的学习器，如果训练集中的树叶的边缘大多呈锯齿状，那么学习器很可能将边缘不是锯齿状的树叶错当成不是树叶，这就是过拟合的表现，因为学习器误以为所有的树叶都有锯齿边缘。另一方面，如果学习器对于训练集学习底不够好，那么它很可能将绿树当作树叶，因为树叶是绿的，树也是绿色的，学习器并没有进一步的学得树叶的特征，这就是欠拟合现象。 （但是有必要指出，欠拟合可以通过改进学习方法来克服；而过拟合

作者：wish 上周我们正式宣布了 TiDB 性能挑战赛 。在赛季内，通过向 TiDB、TiKV、PD 贡献代码完成指定类别任务的方式，你可以获得相应的积分，最终你可以使用积分兑换礼品或奖金。在性能挑战赛中，你首先需要完成几道 Easy 的题目，积累一定量积分后，才能开始挑战 Medium / Hard 难度的题目。 活动发布后，大家向我们反馈 TiKV 任务的资料比较少，上手难度比较高。因此本文以 TiKV 性能挑战赛 Easy 级别任务 PCP: Migrate functions from TiDB 为例，教大家如何快速又正确地完成这个任务，从而玩转“TiDB 性能挑战赛”。这个任务中每项完成后均可以获得 50 分，是积累分数从而挑战更高难度任务的好机会。既能改进 TiKV 为性能提升添砖加瓦、又能参与比赛得到积分，还能成为 Contributor，感兴趣的小伙伴们一起来“打怪”吧！ 背景知识 TiKV Coprocessor（协处理）模块为 TiDB 提供了在存储引擎侧直接进行部分 SQL 计算的功能，支持按表达式进行过滤、聚合等，这样不仅利用起了 TiKV 机器的 CPU 资源，还能显著减少网络传输及相应的 RPC 开销，显著提升性能。大家可以阅读 《TiKV 源码解析系列文章（十四）Coprocessor 概览》 一文进一步了解 Coprocessor 模块。

一、简介 　　在用机器学习训练模型的时候，会将数据集D划分成训练集和测试集，因为如果在相同的数据上训练并测试无法评估模型的效果，常用的划分方法有K折交叉验证、p次k折交叉验证、留出法、留一法、留P法、随机分配、自助法等。另外，在训练模型的时候，经常需要进行调参，当我们有一堆参数的时候，也可以用类似的较差验证的方式依次使用不同的参数建模，最后选择最好的一个参数。在sklearn中要实现主要用sklearn.model_selection包的各种类，下面进行详细介绍。 二、数据集交叉验证方法 1、留出法 　　留出法的方法很简单，将数据集D分为两个部分，一个作为训练集另一个作为测试集，一般会选择70%的数据作为训练集。 对应的方法： 　　 sklearn.model_selection.train_test_split(*arrays, **options) *arrays：数组，可以传入多个，例如同时传入x,y或者传入x,y,z。传入的数据类型为lists,、numpy arrays、scipy-sparse matrices、pandas dataframes。 test_size：如果是float数据，表示测试集的占比；如果是None则默认取占比0.25；如果是int数据，则表示测试集样本个数。 train_size：如果是float数据，表示训练集的占比

基础知识介绍： @RequestBody主要用来接收前端传递给后端的json字符串中的数据的(请求体中的数据的)；GET方式无请求体，所以使用@RequestBody接收数据时，前端不能使用GET方式提交数据，而是用POST方式进行提交。在后端的同一个接收方法里，@RequestBody与@RequestParam()可以同时使用，@RequestBody最多只能有一个，而@RequestParam()可以有多个。 注：一个请求，只有一个RequestBody；一个请求，可以有多个RequestParam。 注：当同时使用@RequestParam（）和@RequestBody时，@RequestParam（）指定的参数可以是普通元素、 数组、集合、对象等等(即:当，@RequestBody 与@RequestParam()可以同时使用时，原SpringMVC接收 参数的机制不变，只不过RequestBody 接收的是请求体里面的数据；而RequestParam接收的是key-value 里面的参数，所以它会被切面进行处理从而可以用普通元素、数组、集合、对象等接收)。 即：如果参数时放在请求体中，传入后台的话，那么后台要用@RequestBody才能接收到；如果不是放在 请求体中的话，那么后台接收前台传过来的参数时，要用@RequestParam来接收，或则形参前