mse

回归损失函数：L1，L2，Huber，Log-Cosh，Quantile Loss 2019-06-04 20:09:34 clover_my 阅读数 430 更多 分类专栏： 阅读笔记 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/clover_my/article/details/90777964 回归损失函数：L1，L2，Huber，Log-Cosh，Quantile Loss 机器学习中所有的算法都需要最大化或最小化一个函数，这个函数被称为“目标函数”。其中，我们一般把最小化的一类函数，称为“损失函数”。它能根据预测结果，衡量出模型预测能力的好坏。 在实际应用中，选取损失函数会受到诸多因素的制约，比如是否有异常值、机器学习算法的选择、梯度下降的时间复杂度、求导的难易程度以及预测值的置信度等等。因此，不存在一种损失函数适用于处理所有类型的数据。损失函数大致可分为两类：分类问题的损失函数和回归问题的损失函数。这篇文章介绍不同种类的回归损失函数以及它们的作用。 1、MAE / L1 + MSE / L2 （1）平均绝对误差(MAE / L1) Y轴：MAE损失。X轴：预测值。 平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE是目标值和预测值之差的绝对值之和

可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效，请关闭广告屏蔽插件后再试): 问题: I have built a simple tensorflow model that is working fine. While training I save the meta_graph and also some parameters at different steps. After that (in a new script) I want to restore the saved meta_graph and restore variables and operations. Everything works fine, but only the with tf.name_scope('MSE'): error = tf.losses.mean_squared_error(Y, yhat, scope="error") is not going to be restored. With the following line mse_error = graph.get_tensor_by_name("MSE/error:0") "The name 'MSE/error:0' refers to a Tensor which does not exist. The

利用UCI大学公开的机器学习数据来跑线性回归，数据集是一个循环发电场的数据，共有9568个样本数据，每个数据有5列，分别是:AT（温度）, V（压力）, AP（湿度）, RH（压强）, PE（输出电力)。我们的目标是得到一个线性关系，其中AT/V/AP/RH这4个是样本特征，PE是样本输出， 也就是说机器学习的结果是得到一个线性回归模型： \[PE=\theta _{0}+\theta _{1}*AT+\theta _{2}*V+\theta _{3}*AP+\theta _{4}*RH\] import matplotlib.pyplot as plt import numpy as np import pandas as pd from sklearn import datasets, linear_model data = pd.read_csv('D:/Python/Mechine_learning/data/CCPP/ccpp.csv') print(data.head()) #输出 AT V AP RH PE 0 23.25 71.29 1008.05 71.36 442.21 1 13.87 42.99 1007.45 81.52 471.12 2 16.91 43.96 1013.32 79.87 465.86 3 10.09 37.14 1012.99 72.59

数据：fetch_california_housing（加利福尼亚的房价数据） 1、解析解法 import tensorflow as tf import numpy as np from sklearn.datasets import fetch_california_housing # 立刻下载数据集 housing = fetch_california_housing(data_home="./datasets", download_if_missing=True) # 获得X数据行数和列数 m, n = housing.data.shape # 这里添加一个额外的bias输入特征(x0=1)到所有的训练数据上面，因为使用的numpy所有会立即执行 housing_data_plus_bias = np.c_[np.ones((m, 1)), housing.data] # 创建两个TensorFlow常量节点X和y，去持有数据和标签 X = tf.constant(housing_data_plus_bias, dtype=tf.float32, name='X') y = tf.constant(housing.target.reshape(-1, 1), dtype=tf.float32, name='y') #

本文内容参考了 机器学习实战：基于Scikit-Learn和Tensorflow 一书。 安装 pip3 install --upgrade tensorflow 创建计算图并运行 import tensorflow as tf # 创建计算图 x = tf . Variable ( 3 , name = 'x' ) y = tf . Variable ( 4 , name = 'y' ) f = x * x * y + y + 2 # 创建会话,并计算 with tf . Session ( ) as sess : x . initializer . run ( ) y . initializer . run ( ) result = f . eval ( ) # 还可以为所有变量一次性完成初始化 init = tf . global_variables_initializer ( ) with tf . Session ( ) as sess : init . run ( ) result = f . eval ( ) 节点值的生命周期 当求值一个节点时，TensorFlow会自动检测该节点依赖的节点， 并先对这些节点求值。 with tf . Session ( ) as sess : print ( y . eval ( ) ) # w,x的值会被计算两次 print (

其他文章用的有自己编的，一起放到这里 #######################自己编的函数，运行后直接调用##################### #计算mse的函数 mse = function(ei,p) #ei是残差向量，p是回归参数个数 { n = length(ei) sse = sum(ei**2) mse = sse/(n-p) return(mse) } #计算帽子矩阵，并提取对角线元素 H = function(X) #X是回归向量矩阵 { h = X%*%solve(t(X)%*%X)%*%t(X) hii = diag(h) return(hii) } #学生化残差 ri = function(ei,X) { p = ncol(X) #回归系数个数 mse = mse(ei,p) #残差均方 hii = H(X) #返回帽子矩阵对角线元素 ans = ei/sqrt(mse*(1-hii)) #学生化残差 return(ans) } #外部学生化残差 ti = function(ei,X) #输入残差回归变量矩阵 { p = ncol(X) #回归参数个数 n = length(ei) #数据个数 hii = H(X) #帽子矩阵主对角线元素 s2_i = ((n-p)*mse(ei,p) -(ei**2)/(1-hii)) / (n-p-1)

符合方差分析的三个条件： 残差 = 实际值 - 预测值（其实是均值）。 在原假设下，MSA的期望会等于MSE的期望；在备选假设下，MSA的期望会大于MSE 的期望，所以 MSA/MSE 的取值范围在 (1 ，正无穷 ) ，所以是单侧检验。 这张图说明残差随机独立分布。 每组一个数就无法分析交互作用。 R 提高但 adjusted R 没提高则没有实质性的提高。 (Completely randomized design) 同独立样本 t 检验。 (Randomized block design)要人为干预去掉实验体本身的差异，同配对样本更好。 例题： 当认为总体有差异之后，想要看到底是哪些因素造成这些差异： 在 SPSS 中是这样的 : 双因子方差分析只考虑主效应的意思是不考虑交互效应，但是考虑因素 A 及因素 B 。 相同意思的不同版本： 来源： https://www.cnblogs.com/yuanjingnan/p/11722682.html

1.scale() 函数 #Usage scale(x, center = TRUE, scale = TRUE) #center中心化，scale标准化 #Arguments x ：a numeric matrix(like object). 　　 2.关于误差e的假设 假设中，e的方差为σ^2 σ^2 的估计为 mse mse = sse/(n-p) p为回归参数的个数 不能用scale函数直接求标准化残差，因为其对应的公式为 (e-mean(e)) / sqrt(sse/(n-1)) 而不是 n-p 来源： https://www.cnblogs.com/jiaxinwei/p/11718855.html

def mean_squared_error(y_true, y_pred): if not K.is_tensor(y_pred): y_pred = K.constant(y_pred) y_true = K.cast(y_true, y_pred.dtype) return K.mean(K.square(y_pred - y_true), axis=-1) def mean_absolute_error(y_true, y_pred): if not K.is_tensor(y_pred): y_pred = K.constant(y_pred) y_true = K.cast(y_true, y_pred.dtype) return K.mean(K.abs(y_pred - y_true), axis=-1) def mean_absolute_percentage_error(y_true, y_pred): if not K.is_tensor(y_pred): y_pred = K.constant(y_pred) y_true = K.cast(y_true, y_pred.dtype) diff = K.abs((y_true - y_pred) / K.clip(K.abs(y_true), K.epsilon(), None)) return 100. *

应用统计学 - 方差分析 数值型数据使用线性回归来研究因素对因变量的影响。类别型数据使用方差分析来研究因素对因变量的影响。方差分析是使用方差比 MSA/MSE 来检验均值是否全相等，即相等是 H0 假设，而不全相等是 H1 假设。 自变量是因素，而因素取值是水平。比如，降水量是因素，降水量大、中和小是因素的三个水平。 看方差是否相等，来判断组间差异是不是很大， 组内组间都有随机误差，但是不是一种随机误差 来源： https://www.cnblogs.com/yuanjingnan/p/11689644.html