归一化

1接口 接口的概念： Java 语言中的接口很好的展现了接口的含义: IAnimal.java /* * Java的Interface很好的体现了我们前面分析的接口的特征: * 1)是一组功能的集合,而不是一个功能 * 2)接口的功能用于交互,所有的功能都是public,即别的对象可操作 * 3)接口只定义函数,但不涉及函数实现 * 4)这些功能是相关的,都是动物相关的功能,但光合作用就不适宜放到IAnimal里面了 */ package com.oo.demo; public interface IAnimal { public void eat(); public void run(); public void sleep(); public void speak(); } 　　 =================第二部分：Pig.java：猪”的类设计,实现了IAnnimal接口 package com.oo.demo; public class Pig implements IAnimal{ //如下每个函数都需要详细实现 public void eat(){ System.out.println("Pig like to eat grass"); } public void run(){ System.out.println("Pig run: front legs,

SRResNet SRResNet 网络来源于SRGAN，原论文（ https://arxiv.org/abs/1609.04802 ）提到一种扩展方式，允许修复更高频的细节。 SRResNet 的残差块架构基于这篇文章（ http://torch.ch/blog/2016/02/04/resnets.html ）。存在两个小的更改：一个是 SRResNet 使用 Parametric ReLU 而不是 ReLU，ReLU 引入一个可学习参数帮助它适应性地学习部分负系数；另一个区别是 SRResNet 使用了图像上采样方法，SRResNet 使用了子像素卷积层。详见： https://arxiv.org/abs/1609.07009 。 SRGAN网络结构如图1所示。 图1 在生成网络部分(SRResNet)部分包含多个残差块，每个残差块中包含两个3×3的卷积层，卷积层后接批规范化层(batch normalization, BN)和PReLU作为激活函数，两个2×亚像素卷积层(sub-pixel convolution layers)被用来增大特征尺寸。在判别网络部分包含8个卷积层，随着网络层数加深，特征个数不断增加，特征尺寸不断减小，选取激活函数为LeakyReLU，最终通过两个全连接层和最终的sigmoid激活函数得到预测为自然图像的概率。 这篇论文（ https:/

译者按： 祖师爷Hinton 带领的小组经典之作，深度学习开山祖师 Hinton率领的谷歌团队多次夺冠 ，主力成员为 hinton 在多伦多大学的学生 Alex Krizhevsky ， Ilya Sutskever ， 因此他们的解决方案也叫alexnet ， 这篇文章是hinton大神团队的代表性之作，CNN （卷积神经网络）已经成为图像识别处理的标准，alexnet作为CNN的代表性方案基础，开创性的GPU计算卷积 ， 仿生视觉细胞的局部感受野等手段解决了图像处理的难题， 和同期的VGG、ResNet、GoogleNet等比肩，使得图像识别成为了人工智能的最成功领域。 ImageNet是一个计算机视觉系统识别项目，缔造者为斯坦福大学教授李飞飞 ，是目前图像识别最大的数据库。是美国斯坦福的计算机科学家，模拟人类的识别系统建立的。能够从图片识别物体。ImageNetLSVRC图像识别大赛素有国际“计算机视觉奥林匹克“之称。数据集包含大约1000多万张各种图片，被分为1000个分类，参赛者训练分类器，在测试数据上取得最高辨识正确率者为优胜。 原文地址： http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks 作者 ： University of

Normalization：归一化，一般在training之前对数据的操作，消除量纲什么的 映射到【0，1】内 standardization：数据正态化，使平均值1方差为0.亦是对数据的处理 Regularization：正则化，对LOSS的惩罚项 防止过拟合。 注意归一化和标准化的区别 ： 归一化 将不同的特征信息都一视同仁 标准化 对不同特征维度的伸缩变换的目的是使得不同度量之间的特征具有可比性。同时不改变原始数据的分布。 来源： https://www.cnblogs.com/nzmx123/p/8961527.html

一、是什么？ 1. 归一化 　　是为了将数据映射到0~1之间，去掉量纲的过程，让计算更加合理，不会因为量纲问题导致1米与100mm产生不同。 　　归一化是 线性模型 做数据预处理的关键步骤，比如LR，非线性的就不用归一化了。 　 归一化就是让不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。 缺点： 这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义 。 另外，最大值与最小值非常容易受异常点影响， 所以这种方法鲁棒性较差，只适合传统精确小数据场景 2. z-标准化 　　消除分布产生的度量偏差，例如：班级数学考试，数学成绩在90-100之间，语文成绩在60-100之间，那么，小明数学90，语文100，小花数学95，语文95，如何评价两个综合成绩好坏的数学处理方式。 二、怎么选？ 1. 标准化 标准化更好保持了样本间距。当样本中有异常点时，归一化有可能将正常的样本“挤”到一起去。比如三个样本，某个特征的值为1,2,10000，假设10000这个值是异常值，用归一化的方法后，正常的1,2就会被“挤”到一起去。如果不幸的是1和2的分类标签还是相反的，那么，当我们用梯度下降来做分类模型训练时，模型会需要更长的时间收敛，因为将样本分开需要更大的努力！而标准化在这方面就做得很好，至少它不会将样本“挤到一起”。 标准化更符合统计学假设

基于物品的协同过滤（ item-based collaborative filtering ）算法是此前业界应用较多的算法。无论是亚马逊网，还是 Netflix 、 Hulu 、 YouTube ，其推荐算法的基础都是该算法。为行文方便，下文以英文简称 ItemCF 表示。本文将从其基础算法讲起，一步步进行改进并基于 MovieLens 数据集给出代码实现，带你领略这一经典算法的美。 1.基本原理 前面我们简单讲解了一下基于用户的协同过滤推荐（UserCF），并且给出了实现代码。还不了解的朋友可以转到链接---- 推荐算法之基于用户的协同过滤 。但是我们也讲到该算法存在一些缺点，首先，随着网站的用户数目越来越大，计算用户兴趣相似度矩阵将越来越困难，其运算时间复杂度和空间复杂度的增长和用户数的增长近似于平方关系。其次，基于用户的协同过滤很难对推荐结果作出解释。因此，著名的电子商务公司亚马逊提出了另一个算法——ItemCF 。 ItemCF 给用户推荐那些和他们之前喜欢的物品相似的物品。比如，该算法会因为你购买过《统计学习方法》而给你推荐《机器学习》。不过，ItemCF算法并 不利用物品的内容属性计算物品之间的相似度 ，它 主要通过分析用户的行为记录计算物品之间的相似度 。 该算法认为，物品 A 和物品 B 具有很大的相似度是因为喜欢物品 A 的用户大都也喜欢物品B 。

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 导语| 12月23 日，微信扫物 iOS 版本正式上线。从识别特定编码形态的图片，到精准识别自然场景中商品图片，有哪些难点需要去克服? 扫物以图片作为媒介，聚合微信内部有价值的生态内容如电商，百科，资讯进行展示， 会催生哪些新的落地场景?本文将细细道来。 作者| breezecheng，腾讯 WXG 应用研究员 编辑| sukeli、尾尾 微信长期招收计算机视觉和OCR方向的人才, 欢迎简历breezecheng@tencent.com ​一. 扫一扫识物概述 1.1 扫一扫识物是做什么的? 扫一扫识物是指以图片或者视频（商品图：鞋子/箱包/美妆/服装/家电/玩具/图书/食品/珠宝/家具/其他商品）作为输入媒介来挖掘微信内容生态中有价值的信息（电商+百科+资讯，如图 1 所示），并展示给用户。这里我们基本覆盖了微信全量优质小程序电商涵盖上亿商品 SKU，可以支持用户货比 N 家并直接下单购买，百科和资讯则是聚合了微信内的搜一搜、搜狗、百度等头部媒体，向用户展示和分享与该拍摄商品相关的资讯内容。 图1 扫一扫识物功能示意图 百闻不如一试，欢迎大家更新 iOS 新版本微信 → 扫一扫 → 识物自行体验，也欢迎大家通过识物界面中的反馈按键向我们提交体验反馈。图 2 即为扫物实拍展示。 扫一扫识物实拍展示 1.2

一、批规范化 Batch Normalization 转自: http://blog.csdn.net/hjimce/article/details/50866313 https://zhuanlan.zhihu.com/p/38176412 [简洁] 白化whitening：https://blog.csdn.net/hjimce/article/details/50864602 layer normalization：https://www.leiphone.com/news/201611/oykRjZskXc2kByKx.html、https://www.zhihu.com/question/48820040 、https://zhuanlan.zhihu.com/p/33173246、https://blog.csdn.net/zhangjunhit/article/details/53169308 待 1、背景意义 本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经被大量的应用，最新的文献算法很多都会引用这个算法，进行网络训练，可见其强大之处非同一般啊。

internal covariate shift(ics):训练深度神经网络是复杂的，因为在训练过程中，每层的输入分布会随着之前层的参数变化而发生变化。所以训练需要更小的学习速度和careful参数初始化，这将减缓训练的速度。 bn的目的就是解决ics 我们知道在神经网络训练开始前，都要对输入数据做一个归一化处理，那么具体为什么需要归一化呢？归一化后有什么好处呢？原因在于 神经网络学习过程本质就是为了学习数据分布，一旦训练数据与 测试 数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布，这样将会大大降低网络的训练速度，这也正是为什么我们需要对数据都要做一个归一化预处理的原因。 对于深度网络的训练是一个复杂的过程，只要网络的前面几层发生微小的改变，那么后面几层就会被累积放大下去。一旦网络某一层的输入数据的分布发生改变，那么这一层网络就需要去适应学习这个新的数据分布，所以如果训练过程中，训练数据的分布一直在发生变化，那么将会影响网络的训练速度。 我们知道网络一旦train起来，那么参数就要发生更新，除了输入层的数据外(因为输入层数据，我们已经人为的为每个样本归一化)，后面网络每一层的输入数据分布是一直在发生变化的，因为在训练的时候

版权声明：本文为博主原创文章，欢迎转载，转载请注明原文地址、作者信息。 Batch Normalization 学习笔记 原文地址 ： http://blog.csdn.net/hjimce/article/details/50866313 作者 ：hjimce 一、背景意义 本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经被大量的应用，最新的文献算法很多都会引用这个算法，进行网络训练，可见其强大之处非同一般啊。 近年来深度学习捷报连连、声名鹊起，随机梯度下架成了训练深度网络的主流方法。 尽管随机梯度下降法对于训练深度网络简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化、权重衰减系数、Drop out比例等。这些参数的选择对训练结果至关重要，以至于我们很多时间都浪费在这些的调参上。那么学完这篇文献之后，你可以不需要那么刻意的慢慢调整参数。BN算法（ Batch Normalization） 其强大之处如下： (1)你可以选择比较大的初始学习率，让你的训练速度飙涨。以前还需要慢慢调整学习率，甚至在网络训练到一半的时候