高斯

04_特征工程

自作多情 提交于 2020-02-18 14:46:31
1.Feature Scaling 对数据的自变量或特征范围进行标准化的一种方法。在数据处理中,它也称为数据规范化,通常在数据预处理步骤中执行。 为什么要进行Feature Scaling: 如果输入范围变化,在某些算法中,对象函数将不能正常工作。 梯度下降收敛得更快,与特征缩放完成。梯度下降法是逻辑回归、支持向量机、神经网络等常用的优化算法。 涉及距离计算的算法如KNN、聚类算法也受特征量的影响。只要考虑欧几里德距离是如何计算的:取观测值之间差异平方和的平方根。变量之间的尺度差异会对这个距离产生很大的影响。 基于树的算法几乎是唯一不受输入大小影响的算法,我们可以很容易地从树的构建方式中看到这一点。当决定如何分割时,树算法会查找“特征值是否为X>3.0”这样的决策,并计算分割后子节点的纯度,因此不考虑特征的规模。 如何进行Feature Scaling: 如果你的特征不是高斯分布,比如,有偏态分布或者有异常值,归一化标准化不是一个好的选择,因为它会将大多数数据压缩到一个很窄的范围内。然而,我们可以将特征转换成高斯like,然后使用归一化-标准化。特征变换将在3.4节中讨论 在进行距离或协方差计算(如聚类、PCA和LDA等算法)时,最好使用Normalization - Standardization ,因为它可以消除尺度对方差和协方差的影响。 Min-Max scale与规范化

线代自学笔记

陌路散爱 提交于 2020-02-17 18:42:30
QwQ……不知不觉这么久没写过博客了 感觉自己线代好菜啊……准备这些天去听听 吉尔伯特爷爷的公开课 ,好好自学一下 大概看了看时间安排,感觉一天两节课正好够 为了方便督促自己,每天把笔记贴在这里好了 1.方程组的几何解释 每一个 \(n\) 元线性方程组都可以用矩阵表示。除此之外还可以对方程组做以下解释: 行图像:每个方程的解都可以表示为 \(n\) 维空间内的一个超平面,所有超平面的交就是整个方程组的解。 (对于系数矩阵可逆的情况,所有超平面的交应当恰好是一个点。) 列图像:把方程组的每一列都看成一个列向量,那么方程组就可以看成 \(n\) 个列向量线性组合形成对应的常数向量。方程组的解代表每个列向量对应的系数。 在不考虑求解方程组时,列图像的思考方向还会产生另一个问题:列向量的所有线性组合能否充满整个 \(n\) 维空间? 求解方程组的系统方法:消元法 2.矩阵消元 对于方程组 \(Ax=b\) ,可以用一系列初等变换将 \(A\) 变为上三角矩阵 \(U\) ,之后直接倒序回代即可得到整个方程组的解。通常称为高斯消元(Gauss Elimination)。 主元(pivot)不能为0。为了找到主元,可能还需要做一些行交换。 行列式等于主元之积 如果某一次无法找到任何主元,则说明此方程组无解或解不唯一,同时也说明 \(A\) 是奇异矩阵。

高斯消元法

余生颓废 提交于 2020-02-16 16:24:47
题面 Gauss消元 题目描述 给定一个线性方程组,对其求解 输入输出格式 输入格式: 第一行,一个正整数n 第二至n+1行,每行n+1个整数,为a1,a2...an和b,代表一组方程。 输出格式: 共n行,每行一个数,第i行为xi (保留2位小数) 如果不存在唯一解,在第一行输出"No Solution". 输入输出样例 输入样例#1: 1 1 1 输出样例#1: 1.00 说明 1<=n<=100, |ai|<=10000, |b|<=10000 题解 高斯消元法,数学中比较常见的方法。 通过构造矩阵来求解多元一次方程,其主要思想就是加减消元法。 主要步骤如下(构成上三角): 1.选定未被选择过的、xi项系数绝对值最大的一行(这样更加容易判断是否有解),将整个式子除以xi的系数(xi系数化为1)。同时将其交换至第i行(方便求解) 2.将未被选择过的行中的该项全部按照系数相应的减去选定的那行的系数(剩下的其他行xi系数化为0) 当所有行都选定过时,已经构成了上三角 3.倒序求解,每次将常数减去已经求出的所有项的解,此时可以求出当前项的解(将已知解带入求未知解) 最后依次输出即可 源代码: 无所谓读入优化了 #include<iostream> #include<cstdio> #include<cstdlib> #include<cstring> #include<cmath>

浅谈高斯消元的实现和简单应用

孤街醉人 提交于 2020-02-16 16:24:34
一、高斯消元的原理 对于n元的m个线性方程组成的方程组,我们将其以矩阵的形式记录下来: a11 a12 a13 ...... a1n b1 a21 a22 a23 ...... a2n b2 ... ... ... an1 an2 an3 ...... ann bn 然后进行初等行列变换,尝试构造出一个上三角矩阵,逐步使系数不为零的项减少; 等最后只剩下一个系数不为零时,进行回代,逐步求出已知解。(详解过程咨询小学老师) 二、高斯消元的实现 老老实实的回代代码参见其他人的博客,这里介绍一种比较毒瘤的不回代暴力消元法: 1.Process 对于每个方程,按照一定的规则(后话)挑选一个主元,记录该主元对应第几个方程,然后用初等行列变换消去其他所有该元的系数; 最后我们得到的是一个每行只有一个数不为零,每列只有一个数不为零的鬼畜矩阵(自己脑补) 此时令ans向量对应的数字出去该行的非零系数,即为对应该元的解。 2.Code 设a数组为已经记录系数的数组(格式见上方),那么a应该是n行n+1列的,最后一列代表方程的常数项; 设w数组记录每个方程的主元是第几项,v数组记录答案; 当多解时输出“Multiple solutions”,无解时输出”No solution”; double a[max_n][max_n+1],v[max_n]; int w[max_n]; void gauss()

笔记-数学期望

ぃ、小莉子 提交于 2020-02-16 09:36:09
期望真是个很神奇的东西啊,虽然利用方程移项可以证明,但总感觉很妙 定义 设数 \(x\) 有 \(n\) 种取值,每种取值 \(a_i\) 对应概率为 \(p_i\) ,则 \(x\) 的数学期望为 \(E(x)=\sum a_ip_i\) 比如说抛掷一枚硬币,定义正面为 \(1\) ,反面为 \(0\) ,则抛一枚硬币的期望为 \(E(x)=0.5\times 1+0.5\times 0=0.5\) 掷骰子的期望为 \(\frac 16\times 1+\frac 16\times 2+\cdots+\frac 16\times 6=\frac 16\sum_{i=1}^6i=3.5\) 彩票一张 \(1\) 元,中奖概率为 \(\frac 1{10^6}\) ,奖金 \(10^5\) ,则买一张彩票的收益期望为 \(\frac 1{10^6}\times 10^5=0.1\) 元 虽然这些期望都是小数,是取不到的值,但期望表示的并不是一个可能发生的情况,而是情况的一个平均,可以形象地理解为当实验进行越来越多的时候,平均情况会趋于接近期望(比如掷骰子 \(100\) 次的时候,平均情况会接近 \(3.5\) ,而当掷 \(10^6\) 次的时候,会更加接近 \(3.5\) ) 更一般的,若 \(x\) 的取值并不是离散的,那么可以用积分表达期望 换汤不换药 基础期望 一枚硬币

OpenCV3入门(六)图像滤波

只谈情不闲聊 提交于 2020-02-13 23:44:41
1 、图像滤波理论 1.1 图像滤波理论 图像滤波即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制,是图像预处理中不可缺少的操作。消除图像中的噪声又叫做图像滤波或平滑,滤波的目的有两个,一是突出特征以方便处理,二是抑制噪声。 空间域滤波就是在图像平面上对像素进行操作。空间域滤波大体分为两类:平滑、锐化。 平滑滤波:模糊处理,用于减小噪声,实际上是低通滤波,典型的滤波器是高斯滤波。 锐化滤波:提取边缘突出边缘及细节、弥补平滑滤波造成的边缘模糊。实际上是高通滤波。 空间域处理可由下式表示: g(x,y)=T[f(x,y)] 式中,f(x,y)是输入图像,g(x,y)是处理后的图像,T是在点(x,y)的邻域上定义的关于f的一种算子,算子可应用于单幅图像或图像集合。 1.2 邻域滤波算子 1)空间滤波器由一个邻域(通常是一个较小的矩形)和对该邻域所包围图像像素执行的预定义操作组成。对预定义的点(x,y)为中心的领域内的像素进行计算。 2)滤波产生一个新像素,用计算后的新像素值代替点(x,y)的值。 3)循环步骤1和2,滤波器的中心遍历图像中的每个像素后,就生成了滤波后的图像。 4)如果在图像像素上执行的是线性操作,则该滤波器称为线性空间滤波器,否则,称为非线性空间滤波器。 一般来说,使用大小为 m×n的滤波器对大小为 M×N的图像进行线性空间滤波,可由下式表示: 2 、OpenCV

高斯消元 模板

允我心安 提交于 2020-02-13 15:12:14
传送门 给定一个n元一次方程组求解。 首先我们思考一下,自己解普通的二元一次方程组的时候是怎么解的? 我们肯定是要先用一个变量表示另一个变量,换句话说,先进行消元,然后转变为一元一次方程求解。 我们一般有两种做法,加减消元或者带入消元。(这里以二元一次方程组为例,多元的也一样) 但是我们在使用程序计算的时候需要一种有规律可寻的算法,所以我们选择在开始的时候进行加减消元,返回的时候进行带入消元(把计算出来的结果带回去再计算) 首先,我们获得了一个n元一次方程组。之后我们要消除一个元,我们会怎么做?先把这个式子的第一个元的系数变为1,再把这个式子所有未知数前面的系数都乘以一个实数,使得在和其他式子计算的时候把这个元的系数消为0。(脑补一下做题时候的画面)之后再诸如此种操作去不断消元,直到最后获得一个一元一次方程,就可以轻松的计算出最后的得数。 之后我们把这个得数回带到刚才的式子里面,就又可以解出一个得数(因为系数为1嘛),之后这样不断地返回就可以解出n元一次方程组的解。时间复杂度O(n^3)。 注意因为我们只能使用double,所以必然会有精度误差(除非强大到全写高精度……那是不可能的),所以我们尽量每次用系数最大的一个去消其他的元,这样能尽量减小误差。我们来偷一位dalao的证明: 这样高斯消元就结束了……(如果中间有不理解的直接想想自己平时解方程组怎么解就好了) 看一下代码。

贝叶斯机器学习路线图

无人久伴 提交于 2020-02-12 00:25:16
这是一份贝叶斯机器学习路线图, 正在不断更新中. 路线图由简短的介绍配以相应的学习资源组成, 读者不一定要按顺序学习, 可以直接定位到自己需要的地方. 很多时候, 我们希望自学某个领域的知识, 学习能力是不差的, 但苦于不知该学哪些, 从何学起, 看什么书/视频好? 各个概念/知识点之间是怎样的联系? 这份路线图是为解决以上问题而生的, 对于学习贝叶斯机器学习应该十分有帮助. 若您发现错漏, 欢迎评论指正! 也希望有更多的人愿意分享自己所在领域的"学习路线图"! (注意: 文中部分资源链接需要科学上网方可打开) 本文目录结构如下: 核心主题 中心问题 参数估计 模型比较 非贝叶斯方法 最大似然 正则化 EM算法 基本推断算法 MAP估计 Gibbs采样 马尔科夫链蒙特卡洛(MCMC) 变分推断(Variational inference) 模型 混合高斯 因子分析 隐马尔科夫模型(HMM) 贝叶斯模型比较 贝叶斯信息准则(Bayesian information criterion) 拉普拉斯近似(Laplace approximation) 进阶主题 模型 逻辑回归(Logistic regression) 贝叶斯网络(Bayesian networks) Latent Dirichlet allocation(LDA) 线性动态系统(Linear dynamical

线性回归

一世执手 提交于 2020-02-10 10:57:09
美国房价问题 Alex经过一年的努力,终于拿到了美国波士顿麻省理工学院的研究生录取通知书,在远离家乡的地方上学,Alex想在波士顿买一套房子,他手头有一些积蓄,在网上找了几套自己满意的房子,但是又不敢相信网上的价格,人生地不熟的,Alex怕被宰,就从自己做数据分析的朋友Bachelor手里要到了过去几年一些有关波士顿房价的资料。 import numpy as np import pandas as pd import seaborn as sns import matplotlib . pyplot as plt house_prices = pd . read_csv ( "train.csv" ) Bachelor给的数据非常非常多,包含各个方面。 为了方便分析呢,先提取其中三个特征作为分析素材,分别是LotArea表示房屋面积,TotalBsmtSF表示地下室的总面积,SalePrice表示的就是房价了。 house_prices [ [ 'LotArea' , 'TotalBsmtSF' , 'SalePrice' ] ] 理工科出生的Alex想起了曾经学过的知识,想计算一下自己喜欢的那几套房子的大概房价是多少,到买房的时候心里好有点数。 于是他把数据重新处理了一下。 sample_test_data = house_prices [ [ 'LotArea' ,

Gaussian(高斯)计算化学代算

南笙酒味 提交于 2020-02-09 16:58:16
分子结构搭建+结构优化 分子特征、性质的计算 能量、偶极矩、轨道能级和图形、高精度能量、热力学性质、IR/Raman/VCD/UV-Vis/ECD谱、荧光、振动分辦、NMR各种垂直/绝热过程能量变化 电子亲和能、电离能、激发能等 助力科研,邮箱:aecho888@126.com。 来源: https://www.cnblogs.com/B3LYP/p/12287498.html