拉普拉斯

本篇博客主要详细介绍朴素贝叶斯模型。首先贝叶斯分类器是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类器。而朴素贝叶斯分类器是贝叶斯分类器中最简单，也是最常见的一种分类方法。并且，朴素贝叶斯算法仍然是流行的十大挖掘算法之一，该算法是有监督的学习算法，解决的是分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提(这个假设在实际应用中往往是不成立的)，就会导致算法精度在某种程度上受影响。 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，是经典的机器学习算法之一。最为广泛的两种分类模型是决策树(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。 历史背景解读： 18世纪英国数学家托马斯·贝叶斯(Thomas Bayes，1702～1761)提出过一种看似显而易见的观点：

【摘要】 　　Laplace算子作为边缘检测之一，和Sobel算子一样也是工程数学中常用的一种积分变换，属于空间锐化滤波操作。拉普拉斯算子（Laplace Operator）是n维 欧几里德空间 中的一个二阶微分算子，定义为 梯度 （▽f）的 散度 （▽·f）。拉普拉斯算子也可以推广为定义在 黎曼流形 上的椭圆型算子，称为 拉普拉斯-贝尔特拉米算子 。（百度百科） 【原理】 　　拉普拉斯算子是二阶微分线性算子，在图像边缘处理中，二阶微分的边缘定位能力更强，锐化效果更好，因此在进行 图像边缘处理时，直接采用二阶微分算子而不使用一阶微分。 　　　　　　　　　　　　　　　　　　图1 一阶微分和 二阶微分计算图 离散函数的导数退化成了差分，一维一阶差分公式和二阶差分公式分别为：如图2所示 　　　　　　　　图2 一阶微分和 二阶微分计算 分别对Laplace算子x,y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子。在一个二维函数f(x,y)中，x,y两个方向的二阶差分分别为：如图3所示 　　　　　　　图3 x,y两个方向的二阶差分 所以Laplace算子的差分形式为： 写成filter mask的形式如下： 该mask的特点，mask在上下左右四个90度的方向上结果相同，也就是说在90度方向上无方向性。为了让该mask在45度的方向上也具有该性质，对该filter

SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS的理解笔记总结 文章目录 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS的理解笔记总结 前言 必备知识： GCN（Graph Convolutional network） 对于卷积核gθ​的定义 关于论文的2 (FAST APPROXIMATE CONVOLUTIONAS ON GRAPHS) 关于论文的2.1（SPECTRAL GRAPH CONVOLUTIONS） 关于论文2.2（lAYER-WISE LINEAR MODEL） 关于论文3.1（EXAMPLE） 部分代码 Reference 前言 在学习semi-supervised classification with graph convolutional networks之前，我认真的查阅了关于GCN(Graph Convolutional Networks)的知识，并且认为很有必要（对于像我这种小白， 去先了解清楚关于GCN的知识 ），这篇论文是基于前人的研究结果提出的新的方法。 因为是从零开始学，对于理解有误的地方欢迎大家指正！ 必备知识： GCN（Graph Convolutional network）

今天学习的是阿姆斯特丹大学的同学于 2016 发表的一篇论文《Semi-supervised Classification with Graph Convolutional Networks》，目前有 2800 多引用。 在 2013 年在之前，NetWork Representation 有两种主流的方式，包括矩阵分解和 NetWork Embedding。 在 2013 年之后，也就是 Mikolov 提出 Word2Vec 之后，人们将注意力转移到 Network Embedding 上，并在此之后出现了很多有名的算法——DeepWalk、LINE、Node2Vec 等等。但是所有的这些方法都需要分成两步分别优化，一个是基于随机游走的生成序列和另一个是半监督学习的训练。 2013 年，本文作者提出了基于空间的图卷积神经网络，通过在图上进行卷积来完成特征提取，并取得非常好的效果。 1. Introduction 我们知道对于 CNN 网络中来说，其核心在使用了基于 Kernel 的卷积操作来提取图像的特征，卷积操作类似于对 计算区域内的中心节点和相邻节点进行加权求和 ： CNN 之所以能成为图像领域的明珠却很少应用于其他领域原因是： 图片是一个规整的二维矩阵 ，无论 Kernel 平移到图片中的哪个位置都可以保证其运算结果的一致性，即： 平移不变性 。CNN

本文尝试通过最简单易懂的语言来讲解GCN(Graph Convolution Network)原理，希望能够帮助大家理解GCN。这里只是讲解GCN的大致原理，公式细节上会省略一些常量，请大家见谅，毕竟这篇博客的目的在于GCN入门，不是深奥的数学知识。如果有讲的不对的地方，麻烦大家一定提出，毕竟错误的知识引导会造成无可估量的知识体系的伤害。 首先阐述一下一些CNN网络模型在图像领域的效果较好原因：网络不同层的卷积核在该层的输入数据上滚动能够提取到相应维度的特征，且通过不断的迭代从而学习到有效的提取特征方法，从而更好地完成任务。上述任务能够有效完成的前提是数据输入结构相对固定，具体而言，一个网络模型的输入是有要求的，比如说网络模型的输入格式为 128 ∗ 128 ∗ 3 128*128*3 1 2 8 ∗ 1 2 8 ∗ 3 ，这个输入数据(通常为图像)的每个位置都必须有值。 但如果输入是结构不固定的数据，比如一个图，再利用CNN模型完成指定任务的难度就相对较大，因为这和CNN模型的本质是冲突的。针对上面的问题，GCN的解决方案直截了当， 将输入结构不固定的数据转换为结构固定的数据，然后再送入CNN模型中 ，个人认为GCN完成的核心任务相当于 CNN的数据预处理过程，只不过这个预处理过程和CNN以往的预处理有所不同，需要在CNN每层处理之前都要做一遍 。 关键字 ： 傅里叶变换

MATLAB图像的锐化处理 锐化可以很好的把物体的轮廓描绘出来，不需要注重物体的内容，而是注重物体的形态位置。 例如：可以应用在扫描舰体的位置 I=imread(‘pout1.tif’); imshow(I,[]); title(‘原图’); BW1=edge(I,‘roberts’,0.1); figure,imshow(BW1); title(’ 罗伯兹梯度图’) ; BW2=edge(I,‘sobel’,0.1); figure,imshow(BW2); title(’ sobel’) ; BW3=edge(I,‘prewitt’,0.1); figure,imshow(BW3); title(’ prewitt’) ; BW4=edge(I,‘log’,0.1); figure,imshow(BW4); title(’ log’) ; BW5=edge(I,‘zerocross’,0.1); figure,imshow(BW5); title(’ zerocross’) ; BW6=edge(I,‘canny’,0.1); figure,imshow(BW6); title(’ canny’) ; h=[0 -1 0;-1 4 -1;0 -1 0]; J=imfilter(I,h); figure,imshow(J); title(‘拉普拉斯图1’); figure

拉普拉斯平滑处理 Laplace Smoothing 背景:为什么要做平滑处理? 　　零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。在文本分类的问题中，当一个词语没有在训练样本中出现，该词语调概率为0，使用连乘计算文本出现概率时也为0。这是不合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0。 拉普拉斯的理论支撑 　　为了解决零概率的问题，法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率，所以加法平滑也叫做拉普拉斯平滑。 　　假定训练样本很大时，每个分量x的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。 应用举例 　　假设在文本分类中，有3个类，C1、C2、C3，在指定的训练样本中，某个词语K1，在各个类中观测计数分别为0，990，10，K1的概率为0，0.99，0.01，对这三个量使用拉普拉斯平滑的计算方法如下： 　　1/1003 = 0.001，991/1003=0.988，11/1003=0.011 来源：51CTO 作者： hellocsz 链接：https://blog.csdn.net/hellocsz/article/details/102397898

graph Laplacian 拉普拉斯矩阵 拉普拉斯矩阵是个非常巧妙的东西，它是描述图的一种矩阵，在降维，分类，聚类等的领域有很广泛的应用。 　　 　　其各个点之间的都有相应的边连接，我们用某个指标（这地方可以任意选择，比如欧氏距离、测地距离、或者高斯相似度等）来衡量两个点的相似度，表示为，没有边连接的其相似度自然为零，是个对称矩阵；某个点的与所有点的相似度之和，表示为；是个对角阵；我们的拉普拉斯矩阵则是 　　 　　 　　拉普拉斯映射就是直接在低维下找到样本，使得所有样本保持原来的相似度。 　　求解广义特征向量，取前几个非零最小特值对应的特向，即为原数据在低维下的表示。 　　 　　谱图理论需要找个时间看看。 http://student.zjzk.cn/course_ware/web-gcsx/gcsx/chapter5/chapter5_2_1.htm http://blog.sciencenet.cn/blog-261330-751483.html http://blog.pluskid.org/?p=287 http://webcache.googleusercontent.com/search?q=cache:_85fSHsIv3MJ:https://zh.wikipedia.org/zh-cn/%25E7%2589%25B9%25E5%25BE%2581%25E5

拉普拉斯分布 高斯分布 文章来源: 拉普拉斯与高斯分布公式与图像

REFERENCE: https://www.jianshu.com/p/ad528c40a08f https://www.zhihu.com/question/54504471 Notes: 离散卷积的本质是加权求和 CNN中的卷积本质上就是利用一个共享参数的过滤器（kernel），通过计算中心像素点以及相邻像素点的加权和来构成feature map实现空间特征的提取，当然加权系数就是卷积核的权重系数。 那么卷积核的系数如何确定的呢？是随机化初值，然后根据误差函数通过反向传播梯度下降进行迭代优化。这是一个关键点，卷积核的参数通过优化求出才能实现特征提取的作用，GCN的理论很大一部分工作就是为了引入可以优化的卷积参数。 CNN在Computer Vision里效果为什么好呢？原因：可以很有效地提取空间特征。 但是有一点需要注意：CNN处理的图像或者视频数据中像素点（pixel）是排列成成很整齐的矩阵。（欧几里得距离Euclidean Structure） 与之相对应，科学研究中还有很多Non Euclidean Structure的数据，如图3所示。社交网络、信息网络中有很多类似的结构。 Graph Convolutional Network中的Graph是指数学（图论）中的用顶点和边建立相应关系的拓扑图。 那么为什么要研究GCN？ 原因有三： 1)CNN无法处理Non