测试模型

原文链接： http://tecdat.cn/?p=8461 时间序列预测是指我们必须根据时间相关的输入来预测结果的问题类型。时间序列数据的典型示例是股市数据，其中股价随时间变化。 递归神经网络 （RNN）已被证明可以有效解决序列问题。特别地，作为RNN的变体的 长期短期记忆网络 （LSTM）当前正在各种领域中用于解决序列问题。 序列问题的类型 序列问题可以大致分为以下几类： 一对一： 其中有一个输入和一个输出。一对一序列问题的典型示例是您拥有一幅图像并且想要为该图像预测单个标签的情况。 多对一： 在多对一序列问题中，我们将数据序列作为输入，并且必须预测单个输出。文本分类是多对一序列问题的主要示例，其中我们有一个单词输入序列，并且我们希望预测一个输出标签。 一对多： 在一对多序列问题中，我们只有一个输入和一个输出序列。典型示例是图像及其相应的说明。 多对多 ：多对多序列问题涉及序列输入和序列输出。例如，将7天的股票价格作为输入，并将接下来7天的股票价格作为输出。聊天机器人还是多对多序列问题的一个示例，其中文本序列是输入，而另一个文本序列是输出。 在本文中，我们将了解如何使用LSTM及其不同的变体来解决一对一和多对一的序列问题。 阅读本文后，您将能够基于历史数据解决诸如股价预测， 天气预报 等问题。由于文本也是单词序列，因此本文中获得的知识也可以用于解决 自然语言处理 任务

文章列表 1. 深度学习基础模型算法原理及编程实现–01.感知机 . 2. 深度学习基础模型算法原理及编程实现–02.线性单元 . 3. 深度学习基础模型算法原理及编程实现–03.全链接 . 4. 深度学习基础模型算法原理及编程实现–04.改进神经网络的方法 . 5. 深度学习基础模型算法原理及编程实现–05.卷积神经网络 . 6. 深度学习基础模型算法原理及编程实现–06.循环神经网络 . 9. 深度学习基础模型算法原理及编程实现–09.自编码网络 . 9. 深度学习基础模型算法原理及编程实现–10.优化方法：从梯度下降到NAdam . … 深度学习基础模型算法原理及编程实现–04.改进神经网络的方法 4.1 基本激活函数认知 4.1.1 sigmoid 5.1.2 tf.tanh 5.1.3 ReLU 5.1.4 Leaky ReLU 5.1.5 Softplus 5.2 增加隐藏层数 5.3 提升学习速率 5.3.1 梯度下降改为随机梯度下降 5.3.2 输出层激活函数与目标函数的选择 5.3.2.1 激活函数为sigmoid函数、损失函数为交叉项 5.3.2.2 激活函数为线性函数且损失函数为平方损失函数 5.3.2.3 损失函数为交叉项的好处 5.3.2.4 柔性最大值（softmax函数） 5.3.2.5 Softmax-loss 5.3.3

机器学习入门系列（2）–如何构建一个完整的机器学习项目，第十一篇！ 该系列的前 10 篇文章： 机器学习入门系列(2)–如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法 特征工程之数据预处理（上） 特征工程之数据预处理（下） 特征工程之特征缩放&特征编码 特征工程(完) 常用机器学习算法汇总比较(上） 常用机器学习算法汇总比较(中） 常用机器学习算法汇总比较(完） 简单聊聊模型的性能评估标准 上一篇文章 介绍了性能评估标准，但如何进行模型评估呢，如何对数据集进行划分出训练集、验证集和测试集呢？如何应对可能的过拟合和欠拟合问题，还有超参数的调优，如何更好更快找到最优的参数呢？ 本文会一一介绍上述的问题和解决方法。 2. 模型评估的方法 2.1 泛化能力 泛化能力 ：指模型对 未知的、新鲜的数据的预测能力 ，通常是根据 测试误差 来衡量模型的泛化能力，测试误差越小，模型能力越强； 统计理论表明：如果训练集和测试集中的样本都是独立同分布产生的，则有 模型的训练误差的期望等于模型的测试误差的期望 。 机器学习的“没有免费的午餐定理”表明：在所有可能的数据生成分布上，没有一个机器学习算法总是比其他的要好。 该结论仅在考虑所有可能的数据分布时才成立。 现实中特定任务的数据分布往往满足某类假设，从而可以设计在这类分布上效果更好的学习算法。

一、什么是用例 　　用例(Use Case)是一种描述系统需求的方法，使用用例的方法来描述系统需求的过程就是用例建模。用例方法最早是由Iva Jackboson博士提出的，后来被综合到UML规范之中，成为一种标准化的需求表述体系。用例的使用在RUP中被推崇备至，整个RUP流程都被称作是"用例驱动"(Use-Case Driven)的，各种类型的开发活动包括项目管理、分析设计、测试、实现等都是以系统用例为主要输入工件，用例模型奠定了整个系统软件开发的基础。 二、用例图 　　 本次用例建模采用的工程实践主题是“基于文本的对话机器人”，主要工作内容在于神经网络模型的选择与训练，参与者(Actor)与系统的交互的主要体现在与机器人的对话上。 1.获取训练数据： 　　通过Scrapy爬虫工具爬取字幕网站字幕文件，经过数据处理成适合训练的语料 2.模型训练： 　　使用经过处理的语料采用Bi-LSTM+Attention网络结构进行训练 3.模型测试： 　　对生成的模型进行问答测试，判断其训练程度 来源： https://www.cnblogs.com/baozhw/p/11785222.html

1. 交叉验证概述 进行模型验证的一个重要目的是要选出一个最合适的模型，对于监督学习而言，我们希望模型对于未知数据的泛化能力强，所以就需要模型验证这一过程来体现不同的模型对于未知数据的表现效果。 最先我们用训练准确度（用全部数据进行训练和测试）来衡量模型的表现，这种方法会导致模型过拟合；为了解决这一问题，我们将所有数据分成训练集和测试集两部分，我们用训练集进行模型训练，得到的模型再用测试集来衡量模型的预测表现能力，这种度量方式叫测试准确度，这种方式可以有效避免过拟合。 测试准确度的一个缺点是其样本准确度是一个 高方差估计 （ high varianceestimate ），所以该样本准确度会依赖不同的测试集，其表现效果不尽相同。 2. K折交叉验证 将数据集平均分割成 K个等份 使用 1份数据作为测试数据，其余作为训练数据 计算测试准确率 使用不同的测试集，重复 2、3步骤 对 测试准确率做平均 ，作为对未知数据预测准确率的估计 sklearn.model_selection.Kfold classsklearn.model_selection.KFold(n_splits=3,shuffle=False, random_state=None) 参数： n_splits 3 ，最小为 2 ； K 折验证的 K ֵ shuffle False; shuffle会对数据产生随机搅动 (

教程会介绍如何用TensorFlow里的tf.keras函数，对Fashion-MNIST数据集进行图像分类。 只需几行代码，就可以定义和训练模型，甚至不需要太多优化，在该数据集上的分类准确率能轻松超过90%。 在进入正题之前，我们先介绍一下上面提到的两个名词： Fashion-MNIST，是去年8月底德国研究机构Zalando Research发布的一个数据集，其中训练集包含60000个样本，测试集包含10000个样本，分为10类。样本都来自日常穿着的衣裤鞋包，每一个都是28×28的灰度图。 这个数据集致力于成为手写数字数据集MNIST的替代品，可用作机器学习算法的基准测试，也同样适合新手入门。 想深入了解这个数据集，推荐阅读量子位之前的报道： 连LeCun都推荐的Fashion-MNIST数据集，是这位华人博士的成果 或者去GitHub： https://github.com/zalandoresearch/fashion-mnist tf.keras是用来在TensorFlow中导入Keras的函数。Keras是个容易上手且深受欢迎的深度学习高级库，是一个独立开源项目。在TensorFlow中，可以使用tf.keras函数来编写Keras程序，这样就能充分利用动态图机制eager execution和tf.data函数。 下面可能还会遇到其他深度学习名词，我们就不提前介绍啦

在做模型训练的时候，尤其是在训练集上做交叉验证，通常想要将模型保存下来，然后放到独立的测试集上测试，下面介绍的是Python中训练模型的保存和再使用。 scikit-learn已经有了模型持久化的操作，导入joblib即可 from sklearn.externals import joblib 1 模型保存 >>> os.chdir( "workspace/model_save" ) >>> from sklearn import svm >>> X = [[ 0 , 0 ], [ 1 , 1 ]] >>> y = [ 0 , 1 ] >>> clf = svm.SVC() >>> clf.fit(X, y) >>> clf.fit(train_X,train_y) >>> joblib.dump(clf, "train_model.m" ) 1 2 3 4 5 6 7 8 通过joblib的dump可以将模型保存到本地，clf是训练的分类器 模型从本地调回 >>> clf = joblib.load( "train_model.m" ) 1 通过joblib的load方法，加载保存的模型。 然后就可以在测试集上测试了 clf .predit (test_X) #此处test_X为特征集 文章来源: joblib 保存和读取

说明：该系列博客源码链接为： https://github.com/bilylee/SiamFC-TensorFlow ，是实验室同小组的师兄用TensorFlow实现 SiameseFC 算法的最终公开版本，经过了长时间的打磨，各个模块功能明确，整体可读性和可移植性极好，我相信这对做Tracking的小伙伴来说，是个入门SiameseFC Tracker的特别好的选择。哈哈，觉得代码很棒的小伙伴们可以点个Star哦，也欢迎交流学习和指教。 这篇博客主要的目的就是简单地跑一下实验，让下载的代码能用预训练的模型去测试单个视频，并对结果可视化，从视觉上感受一下这个跟踪算法的效果，至于如何准备训练数据，如何构建自己的模型，以及如何评估自己的模型等，这些问题都将在后面的系列博客中慢慢道来。 1： SiameseFC-TensorFlow环境配置 可参考源码中的说明，这里将截图放在这里，大家自行准备可运行的环境。 2：预训练模型下载转换和测试 可参考源代码中的说明，这里也给个截图，然后主要对一些文件做一些详细一点的注解。内容主要有预训练模型和测试视频的下载，模型转换以及转换前后的模型对比检验，视频的测试和结果的可视化。 核心文件：scripts/download_assets.py 核心功能：下载SiameseFC的matlab版本预训练模型，同时下载用于测试的单个视频。 2.2 核心文件

一、简介 　　在用机器学习训练模型的时候，会将数据集D划分成训练集和测试集，因为如果在相同的数据上训练并测试无法评估模型的效果，常用的划分方法有K折交叉验证、p次k折交叉验证、留出法、留一法、留P法、随机分配、自助法等。另外，在训练模型的时候，经常需要进行调参，当我们有一堆参数的时候，也可以用类似的较差验证的方式依次使用不同的参数建模，最后选择最好的一个参数。在sklearn中要实现主要用sklearn.model_selection包的各种类，下面进行详细介绍。 二、数据集交叉验证方法 1、留出法 　　留出法的方法很简单，将数据集D分为两个部分，一个作为训练集另一个作为测试集，一般会选择70%的数据作为训练集。 对应的方法： 　　 sklearn.model_selection.train_test_split(*arrays, **options) *arrays：数组，可以传入多个，例如同时传入x,y或者传入x,y,z。传入的数据类型为lists,、numpy arrays、scipy-sparse matrices、pandas dataframes。 test_size：如果是float数据，表示测试集的占比；如果是None则默认取占比0.25；如果是int数据，则表示测试集样本个数。 train_size：如果是float数据，表示训练集的占比

模型性能评估 模型性能评估是为了评价模型的泛化能力，模型性能评估主要有两个问题要解决： 1）用什么数据来评估？ 2）用什么标准来评估？ 1.用什么数据来评估模型性能 常用的有3中，按照复杂程度程度排序分别为： 1）训练集+测试集 2）holdout方法 3）K折交叉验证 其中第1种方法是用测试集来评估模型的性能；第二种方法是用验证集+测试集来评估，验证集用于训练过程中的评估，测试集用于最终的评估；第3种方法也是用验证集+测试集的方式，但是不同于第2种，在k折交叉验证方法下验证集是不重复的，且一次训练会得到k个模型。 最简单的方法，就是将数据集按比例分为训练集和测试集，训练集用来训练模型，测试集用来测试模型性能； 优点：简洁，易操作； 缺点：鲁棒性差，可能存在性能评估失真和过拟合情况；（原因：重复使用同一组测试集来评估，意味这测试集也在间接的参与模型训练，那么测试集有又当运动员又当裁判的风险） scikit-learn库中的model_selection模块下提供了train_test_split方法，专门用于这种方式的数据集划分； from sklearn.model_selection import train_test_split X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.3,random