范数

一、题目：基于超图的多模态特征选择算法及其应用 二、论文概述：利用传统机器学习方法，提出一种多模态特征选择算法，将每组模态当作一组任务，首先利用L2，1范数进行特征选择保证不同模态相同脑区的特征被选中，然后通过嵌入超图技术刻画样本与样本之间的高阶信息，最后利用多核支持向量机对选择后的特征选择进行融合分类，并以ACC、SEN、SPE作为评价指标在ADNI-202数据集上进行验证并与传统方法进行对比来证明提出的基于超图的多模态特征选择算法的有效性。 三、创新点：在传统的多任务特征学习基础上嵌入超图技术，可以刻画样本间的高阶关系。 四、主要公式 1、多任务特征选特目标公式： （1）L2，1范数可以看成矩阵每一行的L2范数之和。L2，1范数将不同模态的同一特征的权重联合起来，使得一部分共同特征能够被联合选择出来。（2）多任务特征选择的结果是使权重矩阵多行为0. 2、利用KNN嵌入超边:把每个顶点看作是一个中心，计算中心点与其他顶点的距离，再把中心点与距离其最近的k个顶点连接起来，构成了一组超边，给定N个样本，则可构造出N个超边。 3、对每个模态的样本都构建一个超图，保留每一个模态的高阶结构信息。在多任务特征选择中加入超图的正则化项即可得到基于超图的多模态特征选择算法的目标公式： 利用超图的拉普拉斯矩阵保留同一模态样本之间的高阶结构关系。 五、优化算法 （1）采用APG算法（加速近端梯度算法

知道了W是什么之后的问题是怎样选出W：先用损失函数衡量W的好坏，然后用优化方法选出最好的W 目录 损失函数和优化 1. Hinge Loss 表达式 二元SVM或叫二分类SVM的推导（待写） 2. 加正则的目的 3. Softmax 与交叉熵损失公式 softmax softmax如何在编程计算的时候稳定 交叉熵 交叉熵损失的最大值与最小值（待写） softmax 求导（待写） 4. Hinge loss与Softmax的区别 5.梯度下降作为优化方法 各种其他优化方法（待写） 损失函数和优化 这是损失函数的一般表达式 1. Hinge Loss 表达式 是正确类的分数（横轴）， 是其他类的分数，它们组成线性分类器的结果 这里正确类分数需要比其他类分数高出的分数1是可以随意选择的，因为这个分数的绝对值并不需要多关心，只关心分数间的相对差值，讲义里有详细证明。 这里是损失函数随错误分类分数增大而增加是线性的，如果改为平方，那么意味着对于分类很错误的情况会带来非常大的损失，也就是这样设计会避免分类很错的情况出现，但是如果分类错误不明显就只做微小修正。 所以选择哪种损失函数要根据具体应用更关心哪种分类错误。 二元SVM或叫二分类SVM的推导（待写） 二分类SVM的情况下，只有两个类，每个样本要么为正要么为负 2. 加正则的目的 当损失函数结果为0的时候，W是不唯一的

opencv 2 归一化函数normalize详解 1. 归一化定义与作用 归一化 就是要把需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保证程序运行时收敛加快。归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在某个区间上是统计的坐标分布。归一化有同一、统一和合一的意思。 归一化的目的 简而言之，是使得没有可比性的数据变得具有可比性，同时又保持相比较的两个数据之间的相对关系，如大小关系；或是为了作图，原来很难在一张图上作出来，归一化后就可以很方便的给出图上的相对位置等。 在使用机器学习算法的数据预处理阶段，归一化也是非常重要的一个步骤。例如在应用SVM之前，缩放是非常重要的。Sarle的神经网络FAQ的第二部分（1997）阐述了缩放的重要性，大多数注意事项也适用于SVM。缩放的最主要优点是能够避免大数值区间的属性过分支配了小数值区间的属性。另一个优点能避免计算过程中数值复杂度。因为关键值通常依赖特征向量的内积（inner products），例如，线性核和多项式核，属性的大数值可能会导致数值问题。我们推荐将每个属性线性缩放到区间[-1,+1]或者[0, 1]。 当然，我们必须使用同样的方法缩放训练数据和测试数据。例如，假设我们把训练数据的第一个属性从[-10,+10]缩放到[-1,

1. 归一化定义与作用 归一化就是要把需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保证程序运行时收敛加快。归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在某个区间上是统计的坐标分布。归一化有同一、统一和合一的意思。 归一化的目的简而言之， 即归一化数据 。是使得没有可比性的数据变得具有可比性，同时又保持相比较的两个数据之间的相对关系，如大小关系；或是为了作图，原来很难在一张图上作出来，归一化后就可以很方便的给出图上的相对位置等。 图像处理中，图片像素点单通道值一般是[0-255]的unsigned char类型，将其转化到[0,1]之间，更方便计算，这就需要用到矩阵的归一化运算。 注 ： normalize的原矩阵必须是单通道(src.channel==1) ，函数执行完，无论之前是否初始化结果矩阵，结果矩阵的大小和类型与原矩阵相同。 在使用机器学习算法的数据预处理阶段，归一化也是非常重要的一个步骤。例如在应用SVM之前，缩放是非常重要的。Sarle的神经网络FAQ的第二部分（1997）阐述了缩放的重要性，大多数注意事项也适用于SVM。缩放的最主要优点是能够避免大数值区间的属性过分支配了小数值区间的属性。另一个优点能避免计算过程中数值复杂度。因为关键值通常依赖特征向量的内积

本篇文章参考博客： https://blog.csdn.net/kuweicai/article/details/78988886 功能：归一化函数 参数： Python: cv2.normalize(src[, dst[, alpha[, beta[, norm_type[, dtype[, mask]]]]]]) → dst src-输入数组。 dst-与SRC大小相同的输出数组。 α-范数值在范围归一化的情况下归一化到较低的范围边界。 β-上限范围在范围归一化的情况下；它不用于范数归一化。 范式-规范化类型（见下面的细节）。 dType——当输出为负时，输出数组具有与SRC相同的类型；否则，它具有与SRC相同的信道数和深度＝CVH-MatthAsHead（DyType）。 面具-可选的操作面具。 这个函数提供了四种归一化方式，可根据需要选择以下四个参数，下面重点说下这四种归一化方式。 NORM_MINMAX:数组的数值被平移或缩放到一个指定的范围，线性归一化。 公式及说明： NORM_INF: 归一化数组的（切比雪夫距离）L∞范数(绝对值的最大值) 公式及说明： NORM_L1 : 归一化数组的（曼哈顿距离）L1-范数(绝对值的和) 公式及说明： NORM_L2: 归一化数组的(欧几里德距离)L2-范数 公式及说明： 来源： CSDN 作者： 益达888 链接： https:

一. 特征值估计 特征值是矩阵很重要的性质,当阶数过高的时候, 计算特征值就很困难,所以需要估计. 范数的内容参见 矩阵分析(1) . 定理1: 设A的特征值为 λ1,λ2,.. λn. 则 |λi| ≤ ||A||, 其中矩阵范数为行范数和列范数. 且|λi|² ≤ ||A||, 其中矩阵范数为谱范数. 定义盖尔圆盘(Gerschgorin): 方阵A = (aij), 令δi = A中第i行元素绝对值之和 - |aii|. 也就是δi 为 第i行除了对角元之外元素的绝对值之和.则盖尔圆Gi 为以aii为圆心,以δi为半径的圆盘. A有n个盖尔圆. 定理2: A的n个盖尔圆 G1, G2, .. Gn, 有以下特性: 1) A的任一特征值 λ ∈∪(i=1, n)Gi. 2) 孤立的盖尔圆内有且只有一个特征值, 联通的盖尔圆内,几个盖尔圆联通就有几个特征值. 由盖尔圆的特性,可以总结出如下推论: 1. 若原点不在A的盖尔圆内,则A非奇异. 2. 若A对角占优, 即 |aii| > δi,(包括行对角占优和列对角占优), 则A非奇异. 3. 若A的n个盖尔圆两两不相交,则A有n个互异的特征值,从而A是单纯矩阵. 4. 若实方阵A有k个孤立的盖尔圆,则A至少有k个相异的实特征值. 事实上,A的n个盖尔圆的圆心都在实轴上,每个孤立的盖尔圆只有一个特征值,而实方阵若有复特征值

向量范数 y = f(v) ： 1. p(av) = |a| p(v), ( absolute homogeneity or absolute scalability). 2. p(u + v) ≤ p(u) + p(v) ( triangle inequality or subadditivity ). 3. If p(v) = 0 then v is the zero vector (separates points). L0 范数：向量非零值个数 L1 范数： 绝对值的和 L2 范数：平方和再开方 L∞ 范数：最大绝对值 矩阵范数 ： 1. 诱导范数： (1.1) 得到分别从属于 L1, L2, L ∞范数的矩阵范数： 1 范数：列绝对值的和的最大值 2 范数（谱范数（注：谱半径是最大特征值））：最大奇异值 ∞ 范数：行绝对值的和的最大值 2. 元素形式范数： m1 范数：所有元素绝对值的和 F- 范数（ Frobenius ）：所有元素平方和再开方 3. 其他形式范数 核范数：奇异值的和 低秩矩阵恢复所求问题为 ： (1.2) Ω 是完整矩阵（数据）的一个子集， (1.3) 因为此问题 NP-hard ，通常用核范数代替（核范数是秩的凸近似），即求解： (1.4) 参考资料： http://www.eecs.berkeley.edu/~ehsan.elhamifar

一、线性代数 1.1 标量、向量、矩阵和张量 标量 ：一个单独的数 向量 ：一列数，一维数组 矩阵 ：二维数组 张量：超过二维的数组 转置： 以对角线为轴的镜像。 1.2 矩阵和向量相乘 矩阵乘法 :两个矩阵A和B的矩阵乘积(matrix product)是第三个矩阵 C。为了使乘法定义良好,矩阵 A 的列数必须和矩阵 B 的行数相等。如果矩阵 A 的形状是 m × n,矩阵 B 的形状是 n × p,那么矩阵C 的形状是 m × p 点积: 1.3 单位矩阵和逆矩阵 单位矩阵:所有沿主对角线的元素都是 1,而所有其他位置的元素都是0,计作: 逆矩阵: 求逆矩阵的条件: 矩阵A必须是一个 方阵(square),即 m = n,并且所有列向量都是线性无关的。一个列向量线性相关的方阵被称为 奇异的 (singular)。 1.4 范数 L 2 范数: 当 p = 2 时,L2 范数被称为 欧几里得范数(Euclidean norm)。它表示从原点出发到向量 x 确定的点的欧几里得距离。L2 范数在机器学习中出现地十分频繁,经常简化表示为 ∥x∥,略去了下标 2。平方 L 2 范数也经常用来衡量向量的大小. L 1 范数: 当机器学习问题中零和非零元素之间的差异非常重要时,通常会使用 L 1 范数 Frobenius 范数: 有时候我们可能也希望衡量矩阵的大小。 1.5

几点声明： 1、本文的内容全部来源于七月在线发布的BAT机器学习面试1000题系列； 2、文章中带斜体的文字代表是本人自己增加的内容，如有错误还请批评指正； 3、原文中有部分链接已经失效，故而本人重新加上了新的链接，如有不当，还请指正。（也已用斜体标出） 4、部分答案由于完全是摘抄自其它的博客，所以本人就只贴出答案链接，这样既可以节省版面，也可以使排版更加美观。点击对应的问题即可跳转。 最后，此博文的排版已经经过本人整理，公式已用latex语法表示，方便读者阅读。同时链接形式也做了优化，可直接跳转至相应页面，希望能够帮助读者提高阅读体验，文中如果因为本人的整理出现纰漏，还请指出，大家共同进步！ 1.请简要介绍下SVM。 SVM，全称是support vector machine，中文名叫支持向量机。SVM是一个面向数据的分类算法，它的目标是为确定一个分类超平面，从而将不同的数据分隔开。 扩展： 支持向量机学习方法包括构建由简至繁的模型：线性可分支持向量机、线性支持向量机及非线性支持向量机。当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机，又称为硬间隔支持向量机；当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性的分类器，即线性支持向量机，又称为软间隔支持向量机；当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

1. 矩阵范数 我们怎么来衡量一个矩阵的大小呢？针对一个向量，它的长度是 \(||\boldsymbol x||\) 。针对一个矩阵，它的范数是 \(||A||\) 。有时候我们会用向量的范数来替代长度这个说法，但对于矩阵我们只说范数。有很多方式来定义矩阵的范数，我们来看看所有范数的的要求然后选择其中一个。 Frobenius 对矩阵中的所有元素进行平方 \(|a_{ij}|^2\) 再相加，然后 \(||A||_F\) 就是它的平方根。这就像把矩阵看作是一个很长的有 \(n^2\) 个元素的向量，这有时候会很有用，但这里我们不选择它。 向量范数满足三角不等式，即 $||\boldsymbol x+\boldsymbol y|| $ 不大于 $||\boldsymbol x|| + ||\boldsymbol y|| $， \(2\boldsymbol x\) 或者 \(-2\boldsymbol x\) 的长度变为两倍。同样的规则也应用于矩阵的范数： 第二个对矩阵范数的要求是新的，因为矩阵可以相乘。范数 \(||A||\) 控制着从 \(\boldsymbol x\) 到 \(A\boldsymbol x\) 和从 \(A\) 到 \(B\) 的增长。 根据此，我们可以这样定义矩阵的范数： 恒等矩阵的范数为 1，针对一个正交矩阵，我们有 \(||Q\boldsymbol x||=