误差分析

本文为博主翻译自：Jinwon的Variational Autoencoder based Anomaly Detection using Reconstruction Probability，如侵立删 http://dm.snu.ac.kr/static/docs/TR/SNUDM-TR-2015-03.pdf 摘要 我们提出了一种利用变分自动编码器重构概率的异常检测方法。重建概率是一种考虑变量分布变异性的概率度量。重建概率具有一定的理论背景，使其比重建误差更具有原则性和客观性，而重建误差是自动编码器（AE）和基于主成分（PCA）的异常检测方法所采用的。实验结果表明，所提出的方法形成了基于自动编码器的方法和基于主成分的方法。利用变分自动编码器的生成特性，可以推导出数据重构，分析异常的根本原因。 1 简介 异常或异常值是与剩余数据显着不同的数据点。 霍金斯将异常定义为一种观察结果，它与其他观察结果有很大的偏差，从而引起人们怀疑它是由不同的机制产生的[5]。 分析和检测异常非常重要，因为它揭示了有关数据生成过程特征的有用信息。 异常检测应用于网络入侵检测，信用卡欺诈检测，传感器网络故障检测，医疗诊断等众多领域[3]。 在许多异常检测方法中，光谱异常检测技术试图找到原始数据的低维嵌入，其中异常和正常数据预期彼此分离。 在找到那些较低维度的嵌入之后，它们被带回原始数据空间

（转）深度学习综述——Hinton、LeCun和Bengio 简介 监督学习 反向传播来训练多层架构 卷积神经网络 使用深度卷积网络进行图像理解 分布式表示和语言处理 递归神经网络（Recurrent neural networks ） 深度学习的未来 本文是Yann LeCun, Yoshua Bengio和 Geoffrey Hinton大神合作写的深度学习综述，发表在nature上，纪念人工智能60周年。原文链接： PDF 摘要 ：深度学习允许由多个处理层组成的计算模型 学习具有多个抽象级别的数据表示。这些方法极大地提高了语音识别、视觉目标识别、目标检测以及药物发现和基因组学等许多领域的技术水平。深度学习通过使用反向传播算法来指出机器应该如何改变它的内部参数来发现大数据集中复杂的结构，这些参数用于从上一层的表示中计算每一层的表示。深度卷积网络在图像、视频、语音和音频处理方面取得了突破，而周期性卷积网络则为文本和语音等序列数据带来了光明。 简介 机器学习技术为现代社会的许多方面提供了动力:从网络搜索到社交网络上的内容过滤，再到电子商务网站上的推荐，它越来越多地出现在相机和智能手机等消费产品中。机器学习系统用于识别图像中的对象，将语音转录成文本，将新闻条目、帖子或产品与用户兴趣匹配，并选择搜索的相关结果。这些应用程序越来越多地使用一种称为深度学习的技术。

先从回归(Regression)问题说起。我在本吧已经看到不少人提到如果想实现强AI，就必须让机器学会观察并总结规律的言论。具体地说，要让机器观察什么是圆的，什么是方的，区分各种颜色和形状，然后根据这些特征对某种事物进行分类或预测。其实这就是回归问题。 如何解决回归问题？我们用眼睛看到某样东西，可以一下子看出它的一些基本特征。可是计算机呢？它看到的只是一堆数字而已，因此要让机器从事物的特征中找到规律，其实是一个如何在数字中找规律的问题。 例：假如有一串数字，已知前六个是1、3、5、7，9，11，请问第七个是几？ 你一眼能看出来，是13。对，这串数字之间有明显的数学规律，都是奇数，而且是按顺序排列的。 那么这个呢？前六个是0.14、0.57、1.29、2.29、3.57、5.14，请问第七个是几？ 这个就不那么容易看出来了吧！我们把这几个数字在坐标轴上标识一下，可以看到如下图形： 用曲线连接这几个点，延着曲线的走势，可以推算出第七个数字——7。 由此可见，回归问题其实是个曲线拟合(Curve Fitting)问题。那么究竟该如何拟合？机器不可能像你一样，凭感觉随手画一下就拟合了，它必须要通过某种算法才行。 假设有一堆按一定规律分布的样本点，下面我以拟合直线为例，说说这种算法的原理。 其实很简单，先随意画一条直线，然后不断旋转它。每转一下，就分别计算一下每个样本点和直线上对应点的距离

机器学习： 是人工智能的核心研究领域，目前把他定义为： 利用经验来改善计算机系统性能 。 对于“经验”，实际上在计算机中，“经验”是以数据的形式存在的，所以机器学习 需要对数据进行分析运用。 提高泛化能力（generalization ability）是机器学习中最重要的问题之一。泛化能力表征了机器学习系统对新事件的适应能力，简单来说泛化能力越强，系统对事件做出的预测就越准确。 机器学习本质上就是一种对问题真实模型的逼近（我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设），但毫无疑问，真实模型一定是不知道的（如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？对吧，哈哈）既然真实模型不知道，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。比如说我们认为宇宙诞生于150亿年前的一场大爆炸，这个假设能够描述很多我们观察到的现象，但它与真实的宇宙模型之间还相差多少？谁也说不清，因为我们压根就不知道真实的宇宙模型到底是什么。 这个与问题真实解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）。我们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示

磁场定向控制，因公司产品开发需要用到对永磁同步电机(PMSM)进行精确的位置控制，才开始从网上了解什么是FOC，有哪些数学公式，控制的过程是怎么样的，与大家分享，由于需要对电机进行位置控制，所以使用了14位分辨率的磁编码器。 FOC主要是通过对电机电流的控制实现对电机转矩(电流)、速度、位置的控制。通常是电流作为最内环，速度是中间环，位置作为最外环。 下图是电流环(最内环)的控制框图： 图一：电流环 在图一中，Iq_Ref是q轴(交轴)电流设定值，Id_Ref是d轴(直轴)电流设定值，关于交轴直轴不再介绍，大家自行百度。 Ia, Ib, Ic分别是A相、B相、C相的采样电流，是可以直接通过AD采样得到的，通常直接采样其中两相，利用公式Ia+Ib+Ic=0计算得到第三相，电角度θ可以通过实时读取磁编码器的值计算得到。 在得到三相电流和电角度后，即可以进行电流环的执行了：三相电流Ia, Ib, Ic经过Clark变换得到Iα, Iβ；然后经过Park变换得到Iq, Id；然后分别与他们的设定值Iq_Ref, Id_Ref计算误差值；然后分别将q轴电流误差值代入q轴电流PI环计算得到Vq，将d轴电流误差值代入d轴电流PI环计算得到Vd；然后对Vq, Vd进行反Park变换得到Vα, Vβ；然后经过SVPWM算法得到Va, Vb, Vc，最后输入到电机三相上。这样就完成了一次电流环的控制。