衰减系数

对于L2 Regulation 和 Weight Decay，假设原来的损失函数是 f f f , 对于有Weight Decay的参数更新规则如下： θ t + 1 = θ t − α ∇ f t ( θ t ) − λ θ t , \theta_{t+1}=\theta_{t}-\alpha \nabla f_{t}\left(\theta_{t}\right)-\lambda \theta_{t}, θ t + 1 ​ = θ t ​ − α ∇ f t ​ ( θ t ​ ) − λ θ t ​ , 其中 λ \lambda λ 是权值衰减的系数， α \alpha α 是学习率。 对于有L2 Regulation的参数更新规则如下： θ t + 1 = θ t − α ∇ f ( θ t ) − α λ ′ θ t , \theta_{t+1}=\theta_{t}-\alpha \nabla_{f}\left(\theta_{t}\right)- \alpha\lambda^{\prime} \theta_{t}, θ t + 1 ​ = θ t ​ − α ∇ f ​ ( θ t ​ ) − α λ ′ θ t ​ , 其中 λ ′ \lambda^{\prime} λ ′ 是L2正则的系数。 可见，只有当 λ = α λ ′ \lambda=\alpha

毫米波 通常大气层中水汽、氧气会对电磁波有吸收作用，目前绝大多数毫米波应用研究集中在几个“大气窗口”频率和三个“衰减峰”频率上。所谓的“大气窗口”是指电磁波通过大气层较少被反射、吸收和散射的那些透射率高的波段。如图3，我们可以看到毫米波传播受到衰减较小的“大气窗口”主要集中在35GHz、45GHz、94GHz、140GHz、220GHz频段附近。而在60GHz、120GHz、180GHz频段附近衰减出现极大值，即“衰减峰”。一般说来，“大气窗口”频段比较适用于点对点通信，已被低空空地导弹和地基雷达所采用，而“衰减峰”频段被多路分集的隐蔽网络和系统优先选用，用以满足网络安全系数的要求。 24G、77G、79G毫米波 24GHz雷达系统主要实现近距离探测（SRR），77GHz雷达系统主要实现中远距离的探测。 77GHz是汽车前向远程探测的主流方案，而24GHz主要用作车后向和侧向的近程探测。 近程少用77G是因为24G技术已经比较成熟，而更高频硬件设计会更难成本更高。 频率 24GHz 77GHz 来源： CSDN 作者： 糟心的事太多，唯有写作可以解忧！ 链接： https://blog.csdn.net/weixin_44124323/article/details/103910682

深度学习各种优化函数详解 深度学习中有众多有效的优化函数，比如应用最广泛的SGD，Adam等等，而它们有什么区别，各有什么特征呢？下面就来详细解读一下 一、先来看看有哪些优化函数 BGD 批量梯度下降 所谓的梯度下降方法是无约束条件中最常用的方法。假设f(x)是具有一阶连续偏导的函数，现在的目标是要求取最小的f(x) : min f(x) 核心思想：负梯度方向是使函数值下降最快的方向，在迭代的每一步根据负梯度的方向更新x的值，从而求得最小的f(x)。因此我们的目标就转变为求取f(x)的梯度。 当f(x)是凸函数的时候，用梯度下降的方法取得的最小值是全局最优解，但是在计算的时候，需要在每一步（xk处）计算梯度，它每更新一个参数都要遍历完整的训练集，不仅很慢，还会造成训练集太大无法加载到内存的问题，此外该方法还不支持在线更新模型。其代码表示如下： for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad 1 2 3 我们首先需要针对每个参数计算在整个训练集样本上的梯度，再根据设置好的学习速率进行更新。 公式表示如下： 假设h(theta)是我们需要拟合的函数，n表示参数的个数

http:// blog.csdn.net/pipisorry/article/details/52902797 调参经验 好的实验环境是成功的一半 由于深度学习实验超参众多，代码风格良好的实验环境，可以让你的人工或者自动调参更加省力，有以下几点可能需要注意： 将各个参数的设置部分集中在一起。如果参数的设置分布在代码的各个地方，那么修改的过程想必会非常痛苦。 可以输出模型的损失函数值以及训练集和验证集上的准确率。 可以考虑设计一个子程序，可以根据给定的参数，启动训练并监控和周期性保存评估结果。再由一个主程序，分配参数以及并行启动一系列子程序。 画图 画图是一个很好的习惯，一般是训练数据遍历一轮以后，就输出一下训练集和验证集准确率。同时画到一张图上。这样训练一段时间以后，如果模型一直没有收敛，那么就可以停止训练，尝试其他参数了，以节省时间。 如果训练到最后，训练集，测试集准确率都很低，那么说明模型有可能欠拟合。那么后续调节参数方向，就是增强模型的拟合能力。例如增加网络层数，增加节点数，减少dropout值，减少L2正则值等等。 如果训练集准确率较高，测试集准确率比较低，那么模型有可能过拟合，这个时候就需要向提高模型泛化能力的方向，调节参数。 从粗到细分阶段调参 实践中，一般先进行初步范围搜索，然后根据好结果出现的地方，再缩小范围进行更精细的搜索。 建议先参考相关论文

转自： http://www.devacg.com/?post=527 光随距离衰减。所以，远离光源的物体会变暗一些。现实世界里，光强度反比于物体和光源距离的平方。 此处i为光强，d为距离。 实践中，上面公式并不方便，我们常用另一个简单的基于辐射衰减距离的模型替代，在辐射衰减距离之外，光线将完全衰减为0。通常，可在光线有效射程内使用线性插值表现光随距离d的衰减： 如上，实际有两个辐射衰减距离。在dmin内，光强不衰减；dmin至dmax，光强由1减至0；超出dmax，光强一律为0。dmin控制开始衰减的距离，常设为0，表示光一旦射出即开始衰减；dmax是真正的衰减距离，此距离之外，光完全失效。 距离衰减也适用于点光源和聚光灯(平行光无衰减)。聚光灯还多出一个Hotspot辐射衰减半径，表示光亮在光锥边上的衰减。 一旦计算出衰减系数i，即可将它乘以镜面反射分量和漫反射分量。记住环境光是没有衰减的，这很显然。 转载请标明出处: 光的衰减 文章来源: https://blog.csdn.net/martinkeith/article/details/92638617

转自： 因为开发了一个新闻推荐系统的模块，在推荐算法这一块涉及到了基于内容的推荐算法（Content-Based Recommendation），于是借此机会，基于自己看了网上各种资料后对该分类方法的理解，用尽量清晰明了的语言，结合算法和自己开发推荐模块本身，记录下这些过程，供自己回顾，也供大家参考~ Ŀ¼ 一、基于内容的推荐算法 + TFIDF 二、在推荐系统中的具体实现技巧 正文 一、基于内容的推荐算法 + TFIDF 主流推荐算法大致可分为： 基于内容（相似度）的推荐 基于用户/物品相似度的协同过滤 热点新闻推荐（你看到的那些头条新闻） 基于模型的推荐（通过输入一些用户特征进入模型，产生推荐结果） 混合推荐（以上十八般兵器一起耍！） (本文只详述基于内容的推荐，其它的推荐方法大家可以另行搜索。) 概念 基于内容相似度的推荐 ：顾名思义，把与 你喜欢看 的新闻 内容相似 新闻推荐给你。基于内容的推荐算法的主要优势在于无冷启动问题，只要用户产生了初始的历史数据，就可以开始进行推荐的计算。而且随着用户的浏览记录数据的增加，这种推荐一般也会越来越准确。 这里有两个重要的关键点需要首先有个基本理解： 怎么知道用户喜欢看那些新闻; 用户有历史的浏览记录，我们可以从这些用户历史浏览的新闻中”提取”能代表新闻主要内容的关键词，看哪些关键词出现的最多。比如可以有”手机“，”电脑游戏“，”发布会

本文链接：https://blog.csdn.net/program_developer/article/details/80867468 “微信公众号” 1. 权重衰减（weight decay） L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。 1.1 L2正则化与权重衰减系数 L2正则化就是在代价函数后面再加上一个正则化项： 其中C0代表原始的代价函数，后面那一项就是L2正则化项，它是这样来的：所有参数w的平方的和，除以训练集的样本大小n。λ就是正则项系数，权衡正则项与C0项的比重。另外还有一个系数1/2，1/2 1/211经常会看到，主要是为了后面求导的结果方便，后面那一项求导会产生一个2，与1/2相乘刚好凑整为1。系数λ就是权重衰减系数。 1.2 为什么可以对权重进行衰减 我们对加入L2正则化后的代价函数进行推导，先求导： 可以发现L2正则化项对b的更新没有影响，但是对于w的更新有影响： 在不使用L2正则化时，求导结果中w前系数为1，现在w前面系数为1-ηλ/n，因为η、λ、n都是正的，所以1-ηλ/n小于1，它的效果是减小w，这也就是权重衰减（weight decay）的由来。当然考虑到后面的导数项，w最终的值可能增大也可能减小。 另外，需要提一下，对于基于mini-batch的随机梯度下降

直观理解反向传播法 反向传播算法其实就是 链式求导法则 的应用。按照机器学习的通用套路，我们先确定神经网络的目标函数，然后用 随机梯度下降优化算法 去求目标函数最小值时的参数值。 反向传播算法 损失函数与正则化项 假设我们有一个固定样本集 \(\{(x^{(1)},y^{(1)}),···,(x^{(m)},y^{(m)})\}\) 它包含m个样本。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例(x,y)，其代价函数为： \[J(W,b;x,y)=\frac{1}{2}||h_{W,b}{(x)}-y||^2\] 这是一个 平方误差损失函数 。(这里的 \(\frac{1}{2}\) 是当求导时，平方会产生一个2， \(\frac{1}{2}*2=1\) 进行平均不让2累积) 对于包含m个样本的数据集，我们可以定义整体的损失函数为： \[J\left(W,b\right)=\left[\frac{1}{m}\sum_{i=1}^m{J\left(W,b;x^{\left(i\right)},y^{\left(j\right)}\right)}\right]+\frac{\lambda}{2}\sum_{l=1}^{n_l-1}{\sum_{i=1}^{s_l}{\sum_{j=1}^{s_{l+1}}{\left(W_{ji}^{\left(l\right)}