判别分析

版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/liuxiao214/article/details/73500737 </div> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-3019150162.css"> <div id="content_views" class="markdown_views prism-atom-one-dark"> <!-- flowchart 箭头图标 勿删 --> <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <p>论文原文：<a href="https://arxiv.org/pdf/1511.06434.pdf" rel="nofollow" data-token=

讲授LDA基本思想，寻找最佳投影矩阵，PCA与LDA的比较，LDA的实际应用 前边讲的数据降维算法PCA、流行学习都是无监督学习，计算过程中没有利用样本的标签值。对于分类问题，我们要达到的目标是提取或计算出来的特征对不同的类有很好的区分度，由于没有用样本的标签值，会导致一个问题，不同的两类样本，如A和B类投影之后交杂在一起无法区分开来，所以这种投影结果对于分类是不利的。线性判别分析LDA是以分类为目的的降维投影技术，把向量X变换为Y，Y的维数更低 ，Y要对分类比较有利能把不同的类有效的区分开来。 大纲： LDA的思想 寻找最佳投影方向 推广到高维 与PCA的比较 实验环节 实际应用 LDA的思想： 主成分分析，流形降维算法都是无监督学习，整个计算过程中没有利用样本标签值，它们投影的结果对分类未必有利 能不能有一种算法，对数据投影之后，能够更便于分类？ 分类要达成的目标： 区分不同的类，同一类的样本特征要尽量相似，不同类之间要尽可能不同，线性判别分析就是达成这种目标的一种线性算法。 目标最直观的表达是，最大化类间差异，最小化类内差异，数学的语言来表达就是方差比较小，使同类样本投影后聚集在一起，不同类样本离得尽可能远。 一维映射y=w T x： 寻找最佳投影方向： 问题的关键是如何得到最佳投影矩阵。 同PCA一样，首先考虑映射到一维的情况，然后考虑映射到高维的情况。 来源： https

之前 GAN网络是近两年深度学习领域的新秀，火的不行，本文旨在浅显理解传统GAN，分享学习心得。现有GAN网络大多数代码实现使用python、torch等语言，这里，后面用matlab搭建一个简单的GAN网络，便于理解GAN原理。 GAN的鼻祖之作是2014年NIPS一篇文章： Generative Adversarial Net ,可以细细品味。 分享一个目前各类GAN的一个 论文整理集合 再分享一个目前各类GAN的一个 代码整理集合 开始 我们知道GAN的思想是是一种二人零和博弈思想（two-player game），博弈双方的利益之和是一个常数，比如两个人掰手腕，假设总的空间是一定的，你的力气大一点，那你就得到的空间多一点，相应的我的空间就少一点，相反我力气大我就得到的多一点，但有一点是确定的就是，我两的总空间是一定的，这就是二人博弈，但是呢总利益是一定的。 引申到GAN里面就是可以看成，GAN中有两个这样的博弈者，一个人名字是生成模型（G），另一个人名字是判别模型（D）。他们各自有各自的功能。 相同点是： 这两个模型都可以看成是一个黑匣子，接受输入然后有一个输出，类似一个函数，一个输入输出映射。 不同点是： 生成模型功能：比作是一个样本生成器，输入一个噪声/样本，然后把它包装成一个逼真的样本，也就是输出。 判别模型：比作一个二分类器（如同0-1分类器）

浅谈GAN——生成对抗网络 重要引用： 深度学习新星：GAN的基本原理、应用和走向 | 硬创公开课 ； 生成对抗网络(GAN)相比传统训练方法有什么优势? ； 通过拳击学习生成对抗网络（GAN）的基本原理 最近总是听老板提起对抗学习，好奇之心，在网上搜集了一些相关资料，整理如下，大部分摘自重要引用的内容。 近年来，基于数据而习得“特征”的深度学习技术受到狂热追捧，而其中GAN模型训练方法更加具有激进意味：它生成数据本身。 GAN是“生成对抗网络”（Generative Adversarial Networks）的简称，由2014年还在蒙特利尔读博士的Ian Goodfellow引入深度学习领域。2016年，GAN热潮席卷AI领域顶级会议，从ICLR到NIPS，大量高质量论文被发表和探讨。Yann LeCun曾评价GAN是“20年来机器学习领域最酷的想法”。 在GAN这片新兴沃土，除了Ian Goodfellow所在的OpenAI在火力全开，Facebook的人工智能实验室也在这一领域马不停蹄深耕，而苹果近日曝出的首篇AI论文，就是基于GANs的变种“SimGAN”。从学术界到工业界，GANs席卷而来。 GANs是深度学习领域比较重要的一个模型，也是人工智能研究的一个重要工具。我们现在所追求的人工智能，一个很重要的特性就是能够像我们人类一样，理解周围复杂的世界

作者： Rudra Raina 翻译： 张一豪 校对： 吴金笛 本文约 2100 字， 建议阅读 10 分钟。 本文详细介绍了生成对抗网络（GAN）的知识，并用其变换人脸，并探寻如何利用StyleGAN生成不同属性（如年龄、微笑等）的人脸。 概述 直到最近，我才开始探索深度学习的全部内容，并在计算机视觉中遇到了这些有趣的想法和项目。 即使我的知识和经验有限，我也希望这可以帮助其他一些初学者对该领域产生兴趣并尝试一些令人兴奋的新事物。 我找到一个非常棒的YouTube频道，叫做Arxiv Insights（或者简称AI，这是个巧合吗？我看不是）。在这个频道，我发现其中一个视频是相当有趣的：如何使用生成对抗网络对人脸变形！本文是对我从上述视频中学到的知识的总结，我希望到结束时您对这个想法有一个很好的了解，并且可能想自己尝试一下。 上图中的人在现实生活中并不存在，他们是计算机生成的。朋友们，那就是GAN的力量。果这引起了您的注意，请继续阅读以了解更多信息。 第一部分： GAN是什么 GAN有一个非常简单的任务要做，就是从头开始生成数据，而这种数据甚至可以欺骗人类。 该模型由Ian Goodfellow及其同事于2014年发明，由两个神经网络组成（生成器和判别器），它们相互竞争，从而产生了一些真实的内容。 使用两个网络的目的可以概括为尽可能多地学习输入数据的基础结构

原文地址： https://cloud.tencent.com/developer/article/1526902 数学 1.列举常用的最优化方法 梯度下降法 牛顿法 拟牛顿法 坐标下降法 梯度下降法的改进型如AdaDelta，AdaGrad，Adam，NAG等。 2.梯度下降法的关键点 梯度下降法沿着梯度的反方向进行搜索，利用了函数的一阶导数信息。梯度下降法的迭代公式为： 根据函数的一阶泰勒展开，在负梯度方向，函数值是下降的。只要学习率设置的足够小，并且没有到达梯度为0的点处，每次迭代时函数值一定会下降。需要设置学习率为一个非常小的正数的原因是要保证迭代之后的x k +1位于迭代之前的值x k 的邻域内，从而可以忽略泰勒展开中的高次项，保证迭代时函数值下降。 梯度下降法只能保证找到梯度为0的点，不能保证找到极小值点。迭代终止的判定依据是梯度值充分接近于0，或者达到最大指定迭代次数。 梯度下降法在机器学习中应用广泛，尤其是在深度学习中。AdaDelta，AdaGrad，Adam，NAG等改进的梯度下降法都是用梯度构造更新项，区别在于更新项的构造方式不同。对梯度下降法更全面的介绍可以阅读SIGAI之前的文章“ 理解梯度下降法 ”。 3.牛顿法的关键点 牛顿法利用了函数的一阶和二阶导数信息，直接寻找梯度为0的点。牛顿法的迭代公式为： 其中H为Hessian矩阵，g为梯度向量

背景 松哥常言统计分三级：“初级说一说，中级比一比，高级找关系”；今天所言之题，即为高级找关系之一法。聚类与判别，所谓天下合久必分、分久必合，合则聚类，分则判别。 1.聚类分析 根据研究对象特征对研究对象进行分类的一种多元分析技术, 把性质相近的个体归为一类, 使得同一类中的个体都具有高度的同质性, 不同类之间的个体具有高度的异质性。根据分类对象的不同分为样品聚类（Q聚类）和变量聚类（R）。现实研究中个案聚类常用哦 2.判别分析 根据一定量案例的一个分组变量和相应的其他多元变量的已知信息, 确定分组与其他多元变量之间的数量关系, 建立判别函数, 然后便可以利用这一数量关系对其他未知分组类型所属的案例进行判别分组。 判别分析中的因变量或判别准则是定类变量, 而自变量或预测变量基本上是定距变量。依据判别类型的多少与方法不同, 分为多类判别和逐级判别。判别分析的过程是通过建立自变量的线性组合(或其他非线性函数), 使之能最佳地区分因变量的各个类别。 3.区别与联系 1、基本思想不同 ( 1) 聚类分析的基本思想 根据相似性( 亲疏关系)，具体找出一些能够度量样品或指标之间相似程度的统计量, 把一些相似程度较大的样品( 或指标) 聚合为一类, 把另外一些相似程度较大的样品( 或指标) 又聚合为另一类; 关系密切的聚合到一个小的分类单位, 关系疏远的聚合到一个大的分类单位, 直到把所有的样品

转载 GAN阶段性小结(损失函数、收敛性分析、训练技巧、应用“高分辨率、domain2domain”、研究方向) 对于GAN的研究已经有了一段时间，有以下感觉： 1.感觉赶了一个晚班车，新思路很难找到了，再往下研究就需要很深入了 2.在图像领域已经有了大量的工作，效果很不错；而在自然语言领域，目前来说效果并不显著(当然目前CV本来发展就领先于NLP) 3.接下来会结合实验室的优势，在与强化学习的结合、对话生成、VQA上做进一步研究 4.我会对GAN领域的各个方面逐步写总结，做一个类似tutorial的文档，帮助大家快速了解GAN，感觉它已经是一个基本的组件一样，不用那么高大上 以前看论文总是在PDF上草草总结，时间一久基本就都忘了，只能记个大概，这是做研究的大忌，也是老师经常强调的一点，接下来我们定期把看过的论文总结发布在知乎专栏，用来督促自己 总结的时候，我会把别人的总结精简，再加上我自己的理解，这样站在巨人的肩膀上速度会快一些，分析也会更加深入一些，同时该有的引用和参考我都把原作者的链接放在下面 希望可以交流分享，督促自己，方便别人 GAN相对RBMs、DBMs、DBMs、VAE的优势 RBMs, DBNs and DBMs all have the difficulties of intractable partition functions or intractable

CVAE-GAN: Fine-Grained Image Generation through Asymmetric Training 摘要 我们提出了一个变分生成对抗网络，一个包含了与生成对抗网络结合的变分子编码器，用于合成细粒度类别的图像，比如具体某个人的脸或者某个类别的目标。我们的方法构建一张图片作为概率模型中的一个标签成分和潜在属性。通过调整输入结果生成模型的细粒度类别标签，我们能够通过随机绘制潜在属性向量中的值来生成指定类别的图像。我们方法的创新点在于两个方面： 首先是我们提出了在判别器和分类器网络中使用交叉熵损失，对于生成器网络则使用平均差异目标函数。这种不对称损失函数能够使得训练出来的GAN网络更稳定。 其次是我们使用了encoder网络去学习潜在空间和真实图片空间中的关系，并使用成对的特性去保持生成图像的结构。 我们使用人脸、花和鸟的自然图片来训练，并说明了提出的模型有能力去生成有着细粒度类别标签的真实且不同的样本。我们进一步将展示我们的模型应用于其他任务的效果，如图像修复、高分辨率以及用于训练更好的人脸识别模型的数据增强。 1. Introduction 构建自然图像的有效的生成模型是计算机视觉中的主要问题。它目标是根据潜在的自然图像分布来调整一些潜在向量来生成不同的真实图片。因此，期望的生成模型是能够捕获钱在的数据分布。这可以说是一个很难的任务

测试概述 该实验的目的是测试LDA（Linear Discriminant Analysis，线性判别分析）的降维效果（主要是训练时间），同时引入了PCA（Principal components analysis，主成分分析）作为比较。 程序比较简单，降维算法和训练算法均是调用python的sklearn库的函数，所有代码都在程序中给出。 每次使用相同数据集，通过三种不同方式测试，分别是直接训练、PCA降维后训练、LDA降维后训练。 文件说明 code 测试程序文件夹，内含LDA_test.py程序 dataset 测试数据集文件夹 output 测试结果截图文件夹 测试环境 操作系统 win10 64位 CPU AMD Ryzen 5 2600x 6-core 3.60GHz 内存 16GB IDE/编辑器 PyCharm Python版本 3.6 LDA_test.py代码 import numpy as np from pandas import read_csv import time from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.decomposition import PCA from sklearn.svm import SVC from