非线性

前言： Batch Normalization是深度学习领域在2015年非常热门的一个算法，许多网络应用该方法进行训练，并且取得了非常好的效果。 众所周知，深度学习是应用随机梯度下降法对网络进行训练，尽管随机梯度下降训练神经网络非常有效，但是它有一个缺点，就是需要人为的设定很多参数，比如学习率，权重衰减系数，Dropout比例等。这些参数的选择对训练结果至关重要，以至于训练的大多数精力都耗费在了调参上面。BN算法就可以完美的解决这些问题。当我们使用了BN算法，我们可以去选择比较大的初始学习率，这样就会加快学习的速度；我们还可以不必去理会过拟合中的dropout、正则项约束问题等，因为BN算法可以提高网络的泛化能力；我们再也不需要使用局部响应归一化层，因为BN本身就是归一化的网络；还可以打乱训练数据，防止每批训练的时候，某一个样本经常被选到。通常在训练神经网络之前，我们都会对数据进行归一化处理，为什么呢？因为神经网络训练实际是为了学习数据的分布情况，一旦训练数据与测试数据分布不同，那么网络的泛化能力也会大大降低。另外，如果每一批的训练数据都不同，那么神经网络就会去适应不同训练数据的分布，这样就会大大降低网络训练的速度。深度学习的训练是一个复杂的过程，如果前几层的数据分布发生了变化，那么后面就会积累下去，不断放大，这样就会导致神经网络在训练过程中不断适应新的数据分布，影响网络训练的速度

第一部分: 关于swarm Swarm软件用来给复杂性过个体行为建模, 用于对经济行为的复杂性研究仿真. 他在美国新墨西哥州的 Santa fe 研究所得到开发的。Santa fe 研究所和一些个人及政府为Swarm的发展提供了资助，它的发行得到了GNU库的公认证和许可。文档和例程，以及软件和开发工具的 Alla 部件，作为可执行部件和源代码，可从网上免费自由得到。 Swarm 是使用 Objective C语言开发的，在早期的版本中编写Swarm的应用程序也使Objective C，从Swarm 2.0版开始提供了对Java语言的支持,将来可能支持JavaScript、C++、python、Perl、C++、python、Perl等语言。Swarm的最新版本 Swarm 2.1.1可以在不同版本的Unix、Linux、Windows95、Windows98、WindowsNT、Windows2000环境下运行。 社会经济系统的仿真，是建立在复杂适应系统（Complex Adaptive System 简称CAS）理论研究基础上的。通过“相对简单的微观个体活动可以突现出宏观层面的复杂行为”，给社会科学的研究与实践乘上当代新技术的航班打开了通路。 第二部分: 关于复杂性研究. 什么叫简单系统，什么叫复杂系统？一个完全无序、处于热平衡状态的系统无疑是简单的系统，比如说一个很完美的晶体

应用了高斯核 clear，没有画ROC曲线 tic load('C:\Users\Administrator\Desktop\Cancer.mat') mu=Cancer(1:444,:);zi=Cancer(445:end,:); %整理数据，第一列（1,2）作为标签 cycle_N=1; %进行cycle_N次交叉验证 N=10; %N=10十折 c=100; [N1,col]=size(mu); [N2,col]=size(zi); q1=floor(N1/N);q2=floor(N2/N); %ACC=zeros(1,10);MCC=zeros(1,10);F1=zeros(1,10); %TP_ROC=zeros(1,10);FP_ROC=zeros(1,10); for kk=1:cycle_N %进行NN次交叉训练 for k=1:N %每次交叉训练为N折 if k==1 pos_train=mu(q1+1:end,:);pos_test=mu(1:q1,:); non_train=zi(q2+1:end,:);non_test=zi(1:q2,:); elseif k==N pos_train=mu(1:q1*(k-1),:);pos_test=mu(q1*(k-1)+1:end,:); non_train=zi(1:q2*(k-1),:);non_test=zi

文章目录 ABSTRACT 1. INTRODUCTION 2. RELATED WORK 2.1 Deep Neural Network 2.2 Network Embedding 3. STRUCTURAL DEEP NETWORK EMBEDDING 3.1 Problem Definition 3.2 The Model 3.2.1 Framework 3.2.2 Loss Functions 3.2.3 Optimization 3.3 Analysis and Discussions 4. EXPERIMENTS 4.1 Datasets 4.2 Baseline Algorithms 4.3 Evaluation Metrics 4.4 Parameter Settings 4.5 Experiment Results 4.5.1 Network Reconstruction 4.5.2 Multi-label Classification 4.5.3 Link Prediction 4.5.4 Visualization 4.6 Parameter Sensitivity 5. CONCLUSIONS ABSTRACT    网络嵌入是学习网络中顶点的低维表示的一种重要方法，旨在捕获和保留网络结构。几乎所有现有的网络嵌入方法都采用浅层模型。但是

以前只是知道R 中的lm函数能够做线性拟合，恰如函数的名字：lm= linear model 不过今天需要做非线性拟合的时候， 上网搜各种函数，包括nls、nlm等等，不过nlm的用法好像和一般的建模函数不太相同；nls函数的用法倒很像，可是却总是出error，不知道为什么。再次苦找，忽然发现其实lm函数便可以完成这个工作： lm函数进行非线性拟合的本质是在其中加入非线性的变量，对这些非线性的变量进行线性拟合，结果还是非线性的。 library(car) plot(USPop) lmfit = lm(population ~ year, data = USPop) #线性拟合 lines(USPop$year, predict(lmfit)) nlmfit1 = lm(population ~ I(year^2)+year , data = USPop) #这里把一个平方项year^2用I来标记成一个变量 nlmfit1 summary(nlmfit1) lines(USPop$year, predict(nlmfit1), col = 'red') #非线性拟合 再上一个例子，是自己研究中的： Type_Num = as.numeric(Type_Fac) nlm = lm(Gene_Data ~ I(exp(-Type_Num)))

前言 在本节中，将解释matlab代码的用法。代码被分为三个部分。（1）用户具体问题的定义。(2)使用matlab预测（3）对展示结果的后处理。不同的算法可以代替第二个部分，这将在后一章解释。只有问题的定义部分才需要针对不同的用途进行修改。这将被进一步的分为两个子部分：变量定义和模型定义。 一旦这两个子部分被完成了，使用者能够获得参数估计的结果，退化和寿命预测。在下面的解释中，line和lines都表明后面给出的matlab code的行数。同样的，i，j，k在matlab代码中分别是样本数，参数和时间的索引。这是个传统对于贝叶斯估计和粒子滤波算法。对于使用NLS的细节描述在下面电池退化的子章中有解释。 问题定义 针对电池退化问题，BATTERY_NLS被用来作为workname，这是结果文件的名字，这个容量每隔5个周期测量一次，因此 C/1 和 cycles 各自被用来 退化单位（ DegraUnit ） 和时间单位 （ TimeUnit )。这个数组 time 包含了测量时间和未来时间，并且应该足够长的去进行剩余寿命预测。C/1 容量数据在表格4.1中的被存储在 y 中,这是一个nyx1的向量。 time 数组的长度应该比 y 大，根据4.1.1的失效阈值的定义，0.7被用于 thres . ParamName 是将被估计的未知参数：模型参数 b 和测量噪音的标准差。

1.解析法和数值法    解析法 就是用全部都是已知量的式子来表达某个未知量。    数值法 就是直接用一个数值代入式子计算,看看等号或者不等号是否成立,不成立的话就调整代入式子的那个数。 2.解析分析和数值模拟 （1.2.这两个应该都是同一个意思不同表达）    解析分析 就是用数学分析的方法,比如微分、积分、特殊方程等,对实际情况进行模拟,列出方程,用解析的方式,求出“比较正规”的函数解（这样可以解决的问题是很有限的,因为在实际问题中,有很多是不能用函数简单模拟的；而且这样的方式,解决方法灵活多变,不利于机器模拟——虽然有软件可以做到）    数值模拟 ——以不用具体的函数表达式,而是用多个点的数值表示函数的方法,来解实际问题的解法,恩,一般来说,差分法是最常用的（这样做的在于应用范围很广,但是计算误差必须估计） 盼有所帮助. 补充一点：另外一种可能,解析分析就是用解析的方法求解,数值模拟用于检验（龙格-库塔法）。 3.解析解和数值解    解析解（analytical solution） 就是由严谨的数学公式，结合给出的自变量的值就可以求出因变量， 也就是问题的解。他人可以利用这些公式计算各自的问题（例如一元二次方程的通用求解公式可以用来求解各种一元二次方程）。所谓的解析解是一种包含分式、三角函数、指数、对数甚至是无限级数等基本函数的解的形式。用来求得 解析解

一、什么是线性代数 线性与非线性： 非线性问题则可以在一定基础上转化为线性问题求解 线性空间： 对所谓的要满足"加法"和"数乘"等八条公理的元素的集合 线性函数： 几何意义 ： 过原点的直线、平面、超平面 代数意义 ：可加性、比例性 可加性 （线性的可加性既是没有互相激励的累加，也是没有互相内耗的累加） 比例性 （比例性又名齐次性说明没有初始值，比如电路，没有输入信号时输出也 为零，有几倍的输入量刚好就有几倍的输出量，增量是倍数关系，存量也是倍数关系） 几何意义：m=n为直线，否则为平面或者超平面 线性映射： T在这里也叫线性算子，具体的算子比如有微分算子，积分算子，拉普拉斯算子等 二维线性函数就构成了两个二维平面之间由矩阵 所确定的映射关系 满足可加性和比例性 在两个不同坐标系之间映射 线性变换： 如果映射是发生在一个集合上的同一个坐标系中，线性映射就被称为 线性变换 。 线性变换作为线性映射的特例，就是把集合上的两个坐标系合为一个。 直角坐标系下的图形清楚地显示了一个图形圆被线性变换为一个椭圆。相应的，圆上的一个向量 α映射为椭圆上的向量β。 同线性映射一样，线性变换把向量变成另外一个向量，或者说把"线"变成"线"。在平面上，线性变换把原点仍变为原点（参考零点没有移动），直线仍然变为直线（没有打弯），平行线仍然是平行线，当然平行四边形仍然是平行四边形。 来源： https:/

PixelNet: Representation of the pixels, by the pixels, and for the pixels. 图1.我们的框架通过对架构（最后一层）和训练过程（历元）的微小修改，将其应用于三个不同的像素预测问题。 请注意，我们的方法为分割（左），表面法线估计（中）和边缘检测（右）的语义边界恢复精细的细节。 Abstract 我们探索了一般像素级预测问题的设计原理，从低级边缘检测到中级表面法线估计到高级语义分割。诸如全卷积网络（FCN）之类的卷积预测因子通过通过卷积处理利用相邻像素的空间冗余而获得了非凡的成功。尽管计算效率高，但我们指出，由于 空间冗余限制了从相邻像素学习的信息 ，因此这些方法在学习过程中在统计上并不是有效的。 我们证明了像素的分层采样可以使（1）在批量更新过程中增加多样性，从而加快学习速度； （2）探索复杂的非线性预测因子，提高准确性； （3）有效地训练最先进的模型tabula rasa（即“从头开始”）以完成各种像素标记任务。 我们的单一体系结构可为PASCAL-Context数据集上的语义分割，NYUDv2深度数据集上的表面法线估计以及BSDS上的边缘检测提供最新结果。 1.Introduction 许多计算机视觉问题可以表述为密集的逐像素预测问题。 其中包括边缘检测[21、64、94]和光流[5、30、86]等低级任务

Batch normalization 深度学习尤其是在CV上都需要对数据做归一化，因为深度神经网络主要就是为了学习训练数据的分布，并在测试集上达到很好的泛化效果，但是，如果我们每一个batch输入的数据都具有不同的分布，显然会给网络的训练带来困难。另一方面，数据经过一层层网络计算后，其数据分布也在发生着变化，此现象称为Internal Covariate Shift。 机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。BatchNorm的作用就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的（标准正态分布）。 Internal covariate shift 的概念：训练深度网络的时候经常发生训练困难的问题，因为，每一次参数迭代更新后，上一层网络的输出数据经过这一层网络计算后，数据的分布会发生变化，为下一层网络的学习带来困难（神经网络本来就是要学习数据的分布，要是分布一直在变，学习就很难了），此现象称之为Internal Covariate Shift。 对于深度学习这种包含很多隐层的网络结构，在训练过程中，因为各层参数不停在变化，所以每个隐层都会面临covariate shift的问题，也就是在训练过程中，隐层的输入分布老是变来变去，这就是所谓的