dnn

参考资料 DSSM算法计算文本相似度： https://www.cnblogs.com/wmx24/p/10157154.html Deep Neural Network for YouTube Recommendation论文精读： https://zhuanlan.zhihu.com/p/25343518 [深度学习]利用DNN做推荐的实现过程总结： https://zhuanlan.zhihu.com/p/38638747 DNN for推荐： https://blog.csdn.net/wang2008start/article/details/95079886 DNN个性化推荐模型： https://www.cnblogs.com/rongyux/p/6864233.html DSSM算法计算文本相似度： https://www.cnblogs.com/wmx24/p/10157154.html 来源： https://www.cnblogs.com/gnivor/p/11672539.html

1. DeepFM算法 　 　结合FM算法和DNN算法，同时提取低阶特征和高阶特征，然后组合。FM算法负责对一阶特征及由一阶特征两两组合成的二阶特征进行特征提取；DNN算法负责对由输入的一阶特征进行全连接等操作形成的高阶特征进行特征提取。 2. DeepFM优势 　　 端到端模型，无需特征工程。 　　结合了广度和深度模型的优点，联合训练FM和DNN模型，共享底层参数，同时学习低阶特征组合和高阶特征组合。 　　DeepFM共享Embedding Vector，训练更加高效。 3. DeepFM表达式 FM： DNN： 　　前馈过程： 其中是 是层数， 是模型的权重， 是层的偏置， 是激活函数。 　　DNN预测模型表达式为： 　　 其中 为隐藏层层数。 4. 模型结构 　　DeepFM结构图 　　FM结构图 　　DNN结构图 　　稀疏映射为稠密向量图 来源： https://www.cnblogs.com/LuckPsyduck/p/11670116.html

一、CTR（Click Through Rate，点击率） 　　点击率(click-through rate, CTR) 是点击特定链接的用户与查看页面，电子邮件或广告的总用户数量之比。它通常用于衡量某个网站的在线广告活动是否成功，以及电子邮件活动的有效性，是互联网公司进行流量分配的核心依据之一。 　　无论使用什么类型的模型，点击率这个命题可以被归纳到二元分类的问题，我们通过单个个体的特征，计算出对于某个内容，是否点击了，点击了就是1，没点击就是0。对于任何二元分类的问题，最后我们都可以归结到逻辑回归上面。 早期的人工特征工程 + LR(Logistic Regression)：这个方式需要大量的人工处理，不仅需要对业务和行业有所了解，对于算法的经验要求也十分的高。 GBDT(Gradient Boosting Decision Tree) + LR：提升树短时这方面的第二个里程碑，虽然也需要大量的人工处理，但是由于其的可解释性和提升树对于假例的权重提升，使得计算准确度有了很大的提高。 FM-FFM：FM和FFM模型是最近几年提出的模型，并且在近年来表现突出，分别在由Criteo和Avazu举办的CTR预测竞赛中夺得冠军，使得到目前为止，还都是以此为主的主要模型占据主导位置。 Embedding模型可以理解为FFM的一个变体。 　　CTR预估技术从传统的Logistic回归

摘要：近几十年来，数值优化在解决诸如功率控制和波束成形器设计等无线资源管理问题中发挥了重要核心作用。然而，传统的优化算法通常需要相当多的迭代来进行收敛，这对实时处理提出了挑战。本文提出了一种新的基于深度学习的无线资源管理的方法。 主要思想是将资源分配算法的输入和输出视为未知的非线性映射，并使用DNN近似它 。如果可以通过中等大小的DNN准确有效地学习非线性映射，那么这种DNN几乎可以实时用于资源分配，因为通过DNN传递输入只需要少量的简单操作。、 引言： 几十年来，处理各种无线资源管理方面问题的各种基于优化的算法都在各自处理的方面取得非常大的成功，但是这些优化算法的本质都属于迭代算法类。即将一组给定的实时网络参数（如信道实现和信噪比要求）作为输入，进行多次迭代，输出“优化”资源分配策略。因此，这些算法所存在的最大挑战就是高实时地计算成本。 本文提出一种基于机器学习的无线资源管理方法，其关键思想是将给定资源优化算法视为一个“黑匣子”，并尝试通过DNN来学习其输入/输出关系。 DNN相对于经典迭代算法的关键优势是DNN具有高实时计算速率：DNN的运行阶段不涉及数值优化，而只涉及一些简单的操作，如矢量乘法、加法和简单的非线性变换。 主要贡献： 1）提出基于深度学习的方案，该方案弥合了机器学习和无线资源分配这些看似无关的领域（尤其是干扰网络功率控制）。 2）通过广泛的理论分析和数值实验

DNN结构构建：NAS网络结构搜索和强化学习、迁移学习 2018年05月14日 15:23:20 wishchin 阅读数 2537 更多 分类专栏： ANN/DNN/纤维丛 前言 谷歌推出的NASNet架构，用于大规模图像分类和识别。NASNet架构特点是由两个AutoML设计的Layer组成——Normal Layer and Reduction Layer，这样的效果是不再需要相关专家用human knowledge来搭建卷积网络架构，直接用RNN把Hyperparameter计算出来，这样就实现了网络结构自动学习。 论文： Learning Transferable Architectures for Scalable Image Recognition 强化学习 论文:《Neural ，Architecture Search with Reinforcement Learning》。 网站链接（开源代码）： https:// github .com / tensorflow /models 论文中的核心是：利用Reinforcement Learning（强化学习）机制训练一个RNN（循环神经网路）controller（控制器）去自动产生一个神经网络，无需人为手动设计网络，设计出的网络在相关有权威的数据集上都取得了很好的成绩

【本系列博文是学习 Keras 的笔记，Keras 版本为2.1.5，主要的参考资料为： Keras中文文档 】 我们直接从一个简单的 DNN MNIST 的例子开始学习，程序代码来自于 Keras 的 examples 中的 mnist_mlp.py 这个例子非常简单，我们只实现一个具有 Dropout 层的 DNN。 网络的建立和训练 首先载入模块相关的模块：Sequential，用以生成我们的 model， 我们只要向这个 model 中 add 不同的层就可以构建我们的网络；Dense，全连接层；Dropout，Dropout 层；optimizers是优化器。 import keras from keras.models import Sequential from keras.layers import Dense, Dropout from keras.optimizers import RMSprop import numpy as np 现在准备载入数据，如果第一次运行需下载 MNIST 数据： from keras.datasets import mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() mnist.load_data会将数据缓存起来，为了多次使用定义如下函数： def load

CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？以及他们的主要用途是什么？只知道CNN是局部感受和参数共享，比较适合用于图像这方面。刚入门的小白真心求助 CNN 专门解决图像问题的，可用把它看作特征提取层，放在输入层上，最后用MLP 做分类。 RNN 专门解决时间序列问题的，用来提取时间序列信息，放在特征提取层（如CNN）之后。 DNN 说白了就是 多层网络，只是用了很多技巧，让它能够 deep 。 来源： https://www.cnblogs.com/Liu-xiang/p/9340444.html

一：神经网络 　　技术起源于上世纪五、六十年代，当时叫感知机（perceptron），包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。但早期的单层感知机存在一个严重的问题——它对稍微复杂一些的函数都无能为力（如异或操作）。直到上世纪八十年代才被Hition、Rumelhart等人发明的多层感知机克服，就是具有多层隐藏层的感知机。 多层感知机可以摆脱早期离散传输函数的束缚，使用sigmoid或tanh等连续函数模拟神经元对激励的响应，在训练算法上则使用Werbos发明的反向传播BP算法。这就是现在所说的神经网络NN。 神经网络的层数直接决定了它对现实的刻画能力——利用每层更少的神经元拟合更加复杂的函数。但问题出现了——随着神经网络层数的加深，优化函数越来越容易陷入局部最优解，并且这个“陷阱”越来越偏离真正的全局最优。利用有限数据训练的深层网络，性能还不如较浅层网络。同时，另一个不可忽略的问题是随着网络层数增加，“梯度消失”现象更加严重。（具体来说，我们常常使用sigmoid作为神经元的输入输出函数。对于幅度为1的信号，在BP反向传播梯度时，每传递一层，梯度衰减为原来的0.25。层数一多，梯度指数衰减后低层基本上接受不到有效的训练信号。） 2006年，Hition提出了深度学习的概念，引发了深度学习的热潮

做了页面设计，不知道怎么搞的把登陆功能弄没有了， 分析了下原因可能是登陆页被我误制定了为主页或者其它也，在 网上搜索了半天终于找到解决方法，在SQL查询分析器里执行下面的 sqL 就好了，赶紧记下来备忘。。。 ginTabId=NULL Where PortalId=0 转载于:https://www.cnblogs.com/tufeng/archive/2009/01/08/1372181.html 来源： https://blog.csdn.net/weixin_30443895/article/details/99249049

基于DNN-HMM的语音识别声学模型结构如下图所示，与传统的基于GMM-HMM的声学模型相比，唯一不同点在于用DNN替换了GMM来对输入语音信号的观察概率进行建模。DNN与GMM相比具有如下优点： DNN不需要对声学特征所服从的分布进行假设； DNN的输入可以采用连续的拼接帧，因而可以更好地利用上下文的信息； DNN的训练过程可以采用随机优化算法来实现，而不是采用传统的批优化算法，因此当训练数据规模较大时也能进行非常高效的训练，显然，训练数据规模越大，所得到的声学模型就越精确，也就越有利于提高语音识别的性能； 在发音模式分类上，DNN这种区分式模型也要比GMM这种产生式模型更加合适。 DNN的输入是传统的语音波形经过加窗、分帧，然后提取出来的频谱特征，如MFCC、PLP或更底层的滤波器组(filter bank,FBK)声学特征等。FBK特征多利用Mel滤波器组在功率谱上进行滤波并计算对数能量，然后采用其规整值来表示。目前，FBK特征获得了广泛的成功，证明了原始语音频率对于基于DNN的语音识别技术的重要性。与传统的GMM采用单帧特征作为输入不同，DNN将相邻的若干帧进行拼接来得到一个包含更多信息的输入向量。研究表明，采用拼接帧作为输入是DNN相比GMM能获得明显性能提升的关键因素之一。 DNN输出向量的维度对应HMM中状态的个数，通常每一维输出对应一个绑定的triphone状态