mse

分类损失函数 一、LogLoss对数损失函数（逻辑回归，交叉熵损失） 　　有些人可能觉得逻辑回归的损失函数就是平方损失，其实并不是。 平方损失函数可以通过线性回归在假设样本是高斯分布的条件下推导得到 ，而逻辑回归得到的并不是平方损失。在逻辑回归的推导中，它假设样本服从 伯努利分布（0-1分布） ，然后求得满足该分布的似然函数，接着取对数求极值等等。而逻辑回归并没有求似然函数的极值，而是把极大化当做是一种思想，进而推导出它的经验风险函数为： 最小化负的似然函数（即max F(y, f(x)) —> min -F(y, f(x))) 。从损失函数的视角来看，它就成了log损失函数了。 log损失函数的标准形式 ： 　　刚刚说到，取对数是为了方便计算极大似然估计，因为在MLE（最大似然估计）中，直接求导比较困难，所以通常都是先取对数再求导找极值点。损失函数L(Y, P(Y|X))表达的是样本X在分类Y的情况下，使概率P(Y|X)达到最大值（换言之， 就是利用已知的样本分布，找到最有可能（即最大概率）导致这种分布的参数值；或者说什么样的参数才能使我们观测到目前这组数据的概率最大 ）。因为log函数是单调递增的，所以logP(Y|X)也会达到最大值，因此在前面加上负号之后，最大化P(Y|X)就等价于最小化L了。 　　逻辑回归的P(Y=y|x)表达式如下（为了将类别标签y统一为1和0

转载： https://mp.weixin.qq.com/s/Xbi5iOh3xoBIK5kVmqbKYA https://baijiahao.baidu.com/s?id=1611951775526158371&wfr=spider&for=pc 无论在机器学习还是深度领域中,损失函数都是一个非常重要的知识点。损失函数（Loss Function）是用来估量模型的预测值 f(x) 与真实值 y 的不一致程度。我们的目标就是最小化损失函数，让 f(x) 与 y 尽量接近。通常可以使用梯度下降算法寻找函数最小值。 关于梯度下降最直白的解释可以看我的这篇文章： 简单的梯度下降算法，你真的懂了吗？ 损失函数有许多不同的类型，没有哪种损失函数适合所有的问题，需根据具体模型和问题进行选择。一般来说，损失函数大致可以分成两类：回归（Regression）和分类（Classification）。今天，红色石头将要总结回归问题中常用的 3 种损失函数，希望对你有所帮助。 回归模型中的三种损失函数包括：均方误差（Mean Square Error）、平均绝对误差（Mean Absolute Error，MAE）、Huber Loss。 1. 均方误差（Mean Square Error，MSE） 均方误差指的就是模型预测值 f(x) 与样本真实值 y 之间距离平方的平均值。其公式如下所示： 其中

（一）简单线性回归 和之前介绍的KNN不同，KNN主要是解决分类问题，而线性回归顾名思义显然是用来解决回归问题的。线性回归具有如下特征： 解决回归问题 思想简单，实现容易 许多强大的非线性模型的基础，比如逻辑回归、多项式回归、svm等等 结果具有很好的可解释性 蕴含机器学习中的很多重要思想 图中是房屋的面积与价格之间的对应关系，不同的面积对应不同的价格，由此在二维平面中便形成了多个点。我们的目的就是要找到一条直线，最大程度上来拟合这些点。 但是在之前的KNN，分类问题中，横轴和纵轴都是样本的特征，而标签则是由这个点是红色还是蓝色决定的。 但是在线性回归中，由于是房产数据，我们必须要预测出一个具体的数值，而不能像分类问题那样，用简单的颜色来代表类别。而这些数据显然是在一个连续的样本空间中，因此需要一个坐标轴来表示。也正因为如此，在二维平面中只能有一个特征，要是多个特征，我们就要更高的维度上进行观察了。 如果样本的特征只有一个，我们称之为简单线性回归 我们的目的是要找到一个直线来尽可能多的拟合这些点，而在二维平面上显然是y = ax + b，那么每一个样本x，都会有一个真实值y和用拟合曲线预测出来的预测值ŷ，因此我们的真实值和预测值就会有一个差距 既然有真实值和预测值，那么评价一个直线的拟合程度，就看所有样本的真实值和预测值之差。如果只是简单的相减，那么两者之差可能有正有负，会抵消掉

分类问题的评价指标是准确率，那么回归算法的评价指标就是MSE，RMSE，MAE、R-Squared。下面一一介绍 均方误差（MSE） MSE （Mean Squared Error）叫做均方误差。看公式 这里的y是测试集上的。 用 真实值-预测值 然后平方之后求和平均。 猛着看一下这个公式是不是觉得眼熟，这不就是线性回归的损失函数嘛！！！ 对，在线性回归的时候我们的目的就是让这个损失函数最小。那么模型做出来了，我们把损失函数丢到测试集上去看看损失值不就好了嘛。简单直观暴力！ 均方根误差（RMSE） RMSE（Root Mean Squard Error）均方根误差。 这不就是MSE开个根号么。有意义么？其实实质是一样的。只不过用于数据更好的描述。 例如：要做房价预测，每平方是万元（真贵），我们预测结果也是万元。那么差值的平方单位应该是 千万级别的。那我们不太好描述自己做的模型效果。怎么说呢？我们的模型误差是 多少千万？。。。。。。于是干脆就开个根号就好了。我们误差的结果就跟我们数据是一个级别的可，在描述模型的时候就说，我们模型的误差是多少万元。 MAE MAE(平均绝对误差) 不用解释了吧。 R Squared 上面的几种衡量标准针对不同的模型会有不同的值。比如说预测房价 那么误差单位就是万元。数子可能是3，4，5之类的。那么预测身高就可能是0.1，0.6之类的。没有什么可读性

　　本文采用生成对抗网络（GAN）对图像进行超分辨，并且采用了新的损失函数来得到具有逼真视觉效果的结果。 　　在超分辨的过程中恢复图像的细节是亟待解决的问题，许多利用MSE作为损失函数的工作都具有很高的PSNR，但是它们恢复出的结果都是缺乏高频信息并且视觉效果并不令人满意。 　　为了在高分辨率时也有契合的保真度，本文提出SRGAN来生成视觉效果逼真的HR图片，在SRGAN中，生成网络使用的是SRResNet，并且采用了新的损失函数，即视觉损失函数(perceptual loss)。视觉损失函数由两部分组成，对抗损失(adversarial loss)和内容损失(content loss)。对抗损失是用于区别生成的超分辨图像和原始图像的，而内容损失则是由视觉相似性而不是在像素域上的相似性来定义的。 　　内容损失函数在本文中考虑了基于MSE和基于VGG网络的两种损失。采用MSE会得到PSNR很高的图像，但是缺少高频内容并且纹理会过渡平滑；而采用VGG网络损失尽管得到的PSNR不如MSE，但是其视觉效果却很好。 　　为此，本文分别针对三种情况做了试验，SRGAN-MSE是以MSE作为内容损失函数的，SRGAN-VGG22是定义在VGG网络低级特征上的内容损失函数，而SRGAN-VGG54是定义在VGG深层网络的高级特征上的内容损失函数，它在关注图像的内容上拥有更大的潜力