神经网络算法

卷积神经网络的本质对是人的视觉形成进行的模仿操作。 人能够识别不同大小、不同角度的相同物体，那么卷积神经网络中的池化、卷积中的扫描就是相同的目的。 人能够识别不同类型的物体，识别的过程，也是识别物体特征的过程，每次注视只能注视一个点，最后通过扫视，形成物体的全貌。比如一只猫，第一眼看的是猫的形状、然后是局部细节等，只有都符合，才能准确判断这是一只猫。卷积神经网络中的卷积负责的是物体特征的提取，提取出物体特征或局部特征的形状、颜色、角度、距离等等等等，然后通过神经网络进行特征的非线性组合，最终给出判定结果。通过反向传播算法，对非线性组合的方式进行优化，让只有通过某种特定的非线性组合的方式，将提取的视觉特征进行组合，才能够得到正确判定结果。 多年视觉分类比赛中的算法，大多是对这个过程的优化与完善。 由对该算法的理解我想到了，如果是对自然现象的模拟，比如人识别一个物体，从自然出发真的是一个极好的出发点。 还有就是，对于特定的任务，要根据任务的特点来选择特征提取的技术、特征组合的技术。以到达就事论事的目的。 来源： CSDN 作者： 鹤随云 链接： https://blog.csdn.net/u012418164/article/details/104092135

文章目录 什么是循环神经网络 RNN的应用 RNN网络结构 RNN的反向求导 Vanilla-RNN Vanilla-RNN存在的问题 RNN动态图 梯度消失 梯度消失带来的影响 梯度爆炸 梯度消失带来的影响 RNN的反向传播 Bidirectional RNN（双向的RNN） Deep(Bidirectional) RNN（深度的双向RNN） LSTM（长短时记忆） LSTM关键：“细胞状态” 第一个“门”——“忘记门” 第二个“门”——“学习门”： 第三个“门”——“记忆门”： 第四个“门”——“使用门”： lstm动态图展示 LSTM可以使用别的激活函数吗？ LSTM-总结 GRU GRU动图 LSTM与GRU区别 什么是循环神经网络 循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network） 它并⾮刚性地记忆所有固定⻓度的序列，而是通过隐藏状态来存储之前时间步的信息。 为什么有BP神经网络、CNN，还需要RNN? 因为PB,CNN网络（前馈神经网络）的输入输出都是相互独立的（只能正向或者反向传播的，单向的），但是实际应用中的有些场景的输出内容和之前的内容相关的（时序性）

论文阅读 论文链接： https://arxiv.org/pdf/1903.07293.pdf tensorflow版代码Github链接： https://github.com/Jhy1993/HAN 介绍视频： https://www.bilibili.com/video/av53418944/ 参考博客： https://blog.csdn.net/yyl424525/article/details/103804574 文中提出了一种新的基于注意力机制的异质图神经网络 Heterogeneous Graph Attention Network（HAN），可以广泛地应用于异质图分析。注意力机制包括节点级注意力和语义级注意力。节点的注意力主要学习节点及其邻居节点间的权重，语义级的注意力是来学习基于不同meta-path的权重。最后，通过相应地聚合操作得到最终的节点表示。 ABSTRACT 最近，深度学习中最令人兴奋的进步之一是注意机制，它的巨大潜力在各个领域。 本文首先提出了一种基于层次注意的异构图神经网络，包括节点级注意和语义级注意。具体地说： 节点级注意旨在学习节点与其基于元路径的邻居之间的重要性 语义级注意能够学习不同元路径的重要性 通过从节点级和语义级两个层次上学习重要性，可以充分考虑节点和元路径的重要性。该模型通过对基于元路径的邻域特征进行分层聚合，生成节点嵌入。

本篇总的指导思想是在掌握深度学习的基本知识和特性的基础上，培养使用TensorFlow进行实际编程以解决图像处理相关问题的能力。全篇力求深入浅出，通过通俗易懂的语言和详细的程序分析，介绍TensorFlow的基本用法、高级模型设计和对应的程序编写。 本篇强调理论联系实际，重点介绍TensorFlow编程解决图像识别的应用，提供了大量数据集，并以代码的形式实现了深度学习模型，以供读者参考。 本篇可作为学习人工神经网络、深度学习TensorFlow 程序设计以及图像处理等相关内容的程序设计人员学习。 **本篇共22章,内容包括Python类库的安装和使用、TensorFlow 基本数据结构和使用、TensorFlow 数据集的创建与读取、人工神经网络、反馈神经网络、全卷积神经网络的理论基础、深度学习模型的创建、模型的特性、算法、ResNet、 Slim、 GAN等。 由于细节内容实在是太多了，所以小编只把部分知识点截图出来粗略的介绍，每个小节都有更加细化的内容，希望大家能够从中得到真谛！** 第1章介绍深度学习的基本内容，初步介绍深度学习应用于计算机视觉和发展方向，介绍使用深度学习解决计算机视觉问题的应用前景,旨在说明使用深度学习和人工智能实现计算机视觉是未来的发展方向，也是必然趋势。 第2章介绍Python的安装和最常用的类库。Python语言是易用性非常强的语言

神经网络反向传播算法 这是典型的三层神经网络的基本构成， L a y e r L 1 Layer L_1 L a y e r L 1 ​ 是输入层， L a y e r L 1 Layer L_1 L a y e r L 1 ​ 是隐藏层，， L a y e r L 1 Layer L_1 L a y e r L 1 ​ 是隐含层，我们现在手里有一堆数据{x1,x2,x3,…,xn},输出也是一堆数据{y1,y2,y3,…,yn},现在要他们在隐含层做某种变换，让你把数据灌进去后得到你期望的输出。 以下通过具体的例子说明神经网络算法的正向传播和反向传播过程： 假设存在如上的神经网络模型，期望输出 O 1 O_1 O 1 ​ =0.01， O 2 O_2 O 2 ​ =0.99。以下是训练算法的具体细节： 正向传播 输入层–>隐藏层计算方式，激活函数采用sigmoid： n e t h 1 = w 1 ∗ i 1 + w 2 ∗ i 2 + b 1 = 0.15 ∗ 0.05 + 0.2 ∗ 0.1 + 0.35 = 0.3775 o u t h 1 = 1 1 + e − n e t h 1 = 1 1 + e − 0.3775 = 0.593269992 n e t h 2 = w 3 ∗ i 1 + w 4 ∗ i 2 + b 1 = 0.25 ∗ 0.05 + 0.3 ∗ 0

# Learning Convolutional Neural Networks for Graphs 本文的三位作者都来自德国Heidelberg的NEC Labs Europe，文章提出了一种从图数据中提取局部连接区域的通用方法（PATCHY-SAN），用来解决图神经网络中的经典问题：如何在 大规模 的图上应用卷积？如何将卷积操作泛化到 任意结构 的图？通过实验证明了算法的有效性，并且模型的计算是高效的。 同样，该模型也考虑了两类任务： **图分类。**给定一组图，学习一个函数，该函数可用于未知图的分类和回归问题。任何两个图的节点不一定是对应的。例如，收集的每个图可以模拟一个化合物，而输出可以是一个函数，将看不见的化合物映射到它们对癌细胞的活性水平。 **结点或者边的分类。**给定一个大型图，学习可以用来推断不可见的图属性(如节点类型和丢失的边)的图表示形式。 与之前的模型相比，PATCHY-SAN有如下几个优点： (1).高效。(2).可以可视化观察图的结构。(3).自动生成卷积核，无需特征工程。 接下来就说一说PATCHY-SAN是如何构建的。对于空域卷积操作，本质上就是将非欧式空间的数据经过采样变成欧式数据，本文通过输入的graph的邻域构造适用于固定模式的卷积的receptive fields。但是，**对于许多不同的图来说，结点的结构信息不一致且分布并不规律

目标是对UCI的手写数字数据集进行识别，样本数量大约是1600个。图片大小为16x16。要求必须使用SVM作为二分类的分类器。 本文重点是如何使用卷积神经网络(CNN)来提取手写数字图片特征，主要想看如何提取特征的请直接看源代码部分的94行左右，只要对tensorflow有一点了解就可以看懂。在最后会有完整的源代码、处理后数据的分享链接。转载请保留原文链接，谢谢。 UCI手写数字的数据集 源数据下载： http://oddmqitza.bkt.clouddn.com/archivetempsemeion.data 其中前256维为16x16的图片，后10维为one hot编码的标签。即0010000000代表2,1000000000代表0. 组合成图片大约是这样的： 卷积和池化形象理解 卷积 池化 仔细的看，慢慢想就能明白CNN提取特征的思想巧妙之处。 能明白这两点，剩下的东西就和普通的神经网络区别不大了。 为什么要用CNN提取特征？ 1.由于卷积和池化计算的性质，使得图像中的平移部分对于最后的特征向量是没有影响的。从这一角度说，提取到的特征更不容易过拟合。而且由于平移不变性，所以平移字符进行变造是无意义的，省去了再对样本进行变造的过程。 2.CNN抽取出的特征要比简单的投影、方向，重心都要更科学。不会让特征提取成为最后提高准确率的瓶颈、天花板 3.可以利用不同的卷积

　　不多说，直接上干货！ 　　大家，都知道，在2016年，Google DeepMind的AlphaGo打败了韩国的围棋大师李世乭九段。在媒体描述DeepMind胜利的时候， 将 人工智能（AI） 、 机器学习（machine learning） 和 深度学习（deep learning） 都用上了。这三者在AlphaGo击败李世乭的过程中都起了作用，但它们说的并不是一回事。 　　今天我就用最简单的方法—— 同心圆，可视化地展现出它们三者的关系和应用 。 　　　　　　　　 　　如上图， 人工智能是最早出现的 ，也是最大、最外侧的同心圆； 其次是机器学习 ，稍晚一点； 最内侧，是深度学习 ，当今人工智能大爆炸的核心驱动。 　　五十年代，人工智能曾一度被极为看好。之后，人工智能的一些较小的子集发展了起来。先是机器学习，然后是深度学习。深度学习又是机器学习的子集。深度学习造成了前所未有的巨大的影响。 从概念的提出到走向繁荣 　　1956年，几个计算机科学家相聚在达特茅斯会议（Dartmouth Conferences），提出了“人工智能”的概念。其后，人工智能就一直萦绕于人们的脑海之中，并在科研实验室中慢慢孵化。之后的几十年，人工智能一直在两极反转，或被称作人类文明耀眼未来的预言；或者被当成技术疯子的狂想扔到垃圾堆里。坦白说，直到2012年之前，这两种声音还在同时存在。 　　过去几年，

大家都知道，在2016年，Google DeepMind的AlphaGo打败了韩国的围棋大师李世乭九段。在媒体描述DeepMind胜利的时候， 将人工智能（AI）、机器学习（machine learning）和深度学习（deep learning） 都用上了。这三者在AlphaGo击败李世乭的过程中都起了作用，但它们说的并不是一回事。 今天就用最简单的方法——可视化的展现它们三者的关系和应用。 如上图，人工智能是最早出现的，也是范围最大的；其次的机器学习，稍晚一点；最内侧，是深度学习，当今人工智能大爆发的核心驱动。 五十年代，人工智能曾一度被极为看好。之后，人工智能的一些较小的子集发展了起来。显示机器学习，然后是深度学习。深度学习又是机器学习的子集。深度学习造成了前所未有的巨大影响。 从概念的提出到走向繁荣 1956年，几个计算机科学家相聚在达特茅斯会议，提出了“人工智能”的概念。其后，人工智能就一直萦绕于人们的脑海之中，并在科研实验室中慢慢孵化。之后的几十年，人工智能一直在两极反转，或被称作人类文明耀眼未来的语言；或者被当成技术疯子的狂想扔到垃圾堆里。坦白说，直到2012年之前，这两种声音还在同时存在。 过去几年，尤其是2015年以来，人工智能开始大爆发。很大一部分是由于GPU的广泛应用，使得并行计算变得更快、更便宜、更有效。当然，无限拓展的存储能力和骤然爆发的数据洪流（大数据

来自百度百科： https://baike.baidu.com/item/Python%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/20499731?fr=aladdin 该书涵盖内容全面是一本很好的入门级图书。 《Python机器学习》是2017年 机械工业出版社 出版的图书，作者是塞巴斯蒂安·拉施卡（Sebastian Raschka） 作者：[美]　塞巴斯蒂安·拉施卡（Sebastian Raschka）　著 ISBN(书号)：978-7-111-55880-4 丛书名：数据科学与工程技术丛书 出版日期：2017-03 版次：1/1 开本：16 定价：￥79.00 内容简介 本书将机器学习背后的基本理论与应用实践联系起来，通过这种方式让读者聚焦于如何正确地提出问题、解决问题。书中讲解了如何使用Python的核心元素以及强大的机器学习库，同时还展示了如何正确使用一系列统计模型。不管你是学习数据科学的初学者，还是想进一步拓展对数据科学领域的认知，本书都是一个重要且不可错过的资源，它能帮助你了解如何使用Python解决数据中的关键问题。 使用Python在深度学习、数据转换与数据可视化领域功能强大的开源库 学习关于提高机器学习系统与算法效率以及优化方面的有效策略和最佳实践 提出（并解决）数据方面的棘手问题，在大规模数据集基础上构建稳定的统计模型