神经网络

由于近些年深度学习技术的飞速发展，大力加速推动了AI在互联网以及传统各个行业的商业化落地，其中， 推荐系统 、计算广告等领域彰显的尤为明显。由于推荐系统与提升用户量以及商业化变现有着密不可分的联系，各大公司都放出了众多推荐系统相关职位，且薪水不菲，目前发展势头很猛。 但是，这里存在几个问题，很多欲从事推荐系统的同学大多数学习的方式是自学，1、往往是学了很多的推荐算法模型，了解些推荐里常用的算法，如：协同过滤、FM、deepFM等， 但是却不清楚这些模型在工业界推荐系统中是如何串联、如何配合、有哪些坑，哪些trick的，导致无论面试还是真正去业界做推荐系统，都会被推荐领域的”老枪老炮“们一眼识别出小白属性 。2、对于算法原理理解不深刻，这就会导致实际应用时不能很好地将模型的性能发挥出来，另外面试时对于大厂面试官的刨根问底，只能是眼睁睁的丢掉offer。 CF、FM、DSSM、DeepFM等这些推荐业界明星模型，你真的清楚他们的内部运行原理以及使用场景吗？真的了解FM模型与SVM有什么相似之处吗？FM固然可以用作为打分模型，但它可以用来做matching吗，如果可以，如何做？item2Vec模型在业界是如何缓解冷启动的问题的？双塔模型优势在哪？深度模型到底是如何做matching的，是离线计算好结果还是实时的对网络进行前向计算？DeepFM具体实现时

语义分割--(DeepLabv3+)Encoder-Decoder with Atrous Separable Convolution for Semantic .. https://blog.csdn.net/u011974639/article/details/79518175 DeepLabv3+ Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation 原文地址： DeepLabv3+ 注意本文的一作 L i a n g − C h i e h C h e n Liang-Chieh Chen L i a n g − C h i e h C h e n 参与了 DeepLab系列 ，MaskLab和 MobileNet系列 的工作。本文是在DeepLabv3的基础上将多个技术融合到一起，达到新的state-of-the-art。 论文在提出了DeepLabv3+架构。主要以DeepLabv3做encoder架构，decoder采用一个简单却有效的模块。并探索了了改进的Xception和深度分离卷积在模型中的应用，进一步提升模型在语义分割任务上的性能。 Abstract 空间金字塔模块在输入feature上应用多采样率扩张卷积、多接收野卷积或池化，探索多尺度上下文信息。

简介 事件检测 事件检测（ED）的目的是检测事件触发器（通常是在实例中引发事件的单词或短语），然后识别它们的特定事件类型。 特征工程，如token级特征和结构化特征。 神经网络模型，将文本语义信息直接嵌入到低维空间中，基于这些特征向量检测事件触发器，采用有监督学习的方法对人类标注数据进行模型训练。 神经网络模型对人工标注数据的需求是实践中的瓶颈。 弱监督学习 参考资料 https://baijiahao.baidu.com/s?id=1594091883249224246&wfr=spider&for=pc 目前广泛采用的弱监督方法充分利用了大量的原始数据，特别是一些具体的信息提取工作，探索了弱监督自动标注ED训练数据的方法，这种弱监督方法可以有效地推广到实际的ED应用中，而不需要大量的劳动。 弱监督方法虽然取得了很好的结果，但仍然存在一些严重的问题： 会受到数据中不可避免的噪声的影响 现有的弱监督ED模型采用复杂的预定义规则和不完全的知识库来自动获取数据，导致数据的自动标注覆盖率低、主题偏差大 本文提出的模型 为了构建一个覆盖范围更广的大规模数据集，减少主题偏差 避免采用复杂的预定义规则和繁重的语义组件分析工具包，提出了一个简单的 基于触发器的潜在实例发现策略 一个假设：如果一个给定的单词作为已知事件实例中的触发器，那么提到这个单词的所有实例也可以表示一个事件 与复杂的规则相比

原于2018年1月在实验室组会上做的分享，今天分享给大家，希望对大家科研有所帮助。 今天给大家分享一下对抗训练（Adversarial Training，AT）。 为何要选择这个主题呢？ 我们从上图的Attention的搜索热度可以看出，Attention在出现后，不断被人们所重视，基本上现在的顶会论文都离不开Attention。 同样，AT的搜索热度也持续高涨，因此，我们有理由相信AT也能像Attention一样，在学术界大放光彩。 原本的AT，最初是在样本中加入对抗扰动使神经网络失效，当时AT并不广为人知。 但是后来GAN（Generative Adversarial Networks ）的出现，使AT受到了大量的关注，并且也被用于各种任务中。 下面，我们通过三篇论文来介绍一下AT能够应用于何种场景，以及能够取得何种效果。 首先，我们来介绍一下《Domain-Adversarial Training of Neutral Networks》 这篇论文的核心任务是领域适配（Domain Adaptation），也是我们常说的迁移学习。主要涉及两个领域，一个目标领域（target domain）和源领域（source domain），通常，源领域的资源、语料较多、比较适合特征建模，但是并不是任务需要的领域，仅仅是相关领域；但是目标领域虽然是任务需要的领域，但是由于资源、语料少

1. 二分分类 2. 符号约定（标记方法） 3. Logistic回归（对数几率回归） 4. Logistic回归的损失函数和成本函数 5. 梯度下降法 6. 导数的直观理解（基础数学知识） 来源： oschina 链接： https://my.oschina.net/u/4386395/blog/4918138

1. 计算图 2. 导数的计算（反向传播、链式法则） 3. Logistic回归回顾 4. Logistic回归的导数求解 5. m个样本时的Logistic回归 来源： oschina 链接： https://my.oschina.net/u/4306257/blog/4918139

文末送10本签名书籍，包邮！ 内容简介 本书总结了以神经网络为代表的现代自然语言生成的基本思想、模型和框架。本书共12章， 首先 介绍了自然语言生成的研究背景、从统计语言模型到神经网络语言建模的过程，以及自然语言建模的思想与技术演化过程； 其次 从基础模型角度介绍了基于循环神经网络、基于 Transformer 的语言生成模型，从优化方法角度介绍了基于变分自编码器、基于生成式对抗网络的语言生成模型，从生成方式角度介绍了非自回归语言生成的基本模型和框架； 然后 介绍了融合规划的自然语言生成、融合知识的自然语言生成、常见的自然语言生成任务和数据资源，以及自然语言生成的评价方法；最后总结了本书的写作思路及对自然语言生成领域未来发展趋势的展望。 本书可作为高等院校计算机科学与技术、人工智能、大数据等相关专业高年级本科生、研究生相关课程的教材，也适合从事自然语言处理研究、应用实践的科研人员和工程技术人员参考。 专家推荐 周明 原微软亚洲研究院副院长 国际计算语言学会（ACL）主席 创新工场首席科学家 在 AI 创作风起云涌的今天，故事、诗歌、散文，甚至代码，都可以由 AI 自动生成。《现代自然语言生成》无疑是非常及时和重要的一本书，它详细阐述了以神经网络为代表的现代自然语言生成的基本思想、模型和框架，全书由浅入深、浑然一体，强烈推荐读者们阅读和收藏。 李航 字节跳动AI Lab

花了一个周读了一下这篇论文，是最近接受在IJCAI上的一篇关于股票涨跌预测的模型，驳斥了传统方法基于静态输入的局限性，原因是由于股票的价格会在市场内随着时间不短变化，基于价格的特征实际上是随机变量。方法是采用对抗训练，在训练过程中加入随机噪声模拟股票在实际中收外界干扰的过程，模型是采用常规的深度学习模型LSTM+attention.达到的效果是比其他方法的准确率提高了3.11%。 Improving Stock Movement Prediction with Adversarial Training 　　 ABSTRACT: This paper contributes a new machine learning solution for stock movement prediction, which aims to predict whether the price of a stock will be up or down in the near future. The key novelty is that we propose to employ adversarial training to improve the generalization of a recurrent neural network model. The rationality of

Deep Learning for Event-Driven Stock Prediction Reading time:2019/3/30-2019/4/12 Theme:Deep learning; CNN; NLP A bstract : 　　 We propose a deep learning method for event driven stock market prediction. First, events are extracted from news text, and represented as dense vectors, trained using a novel neural tensor net work. Second, a deep convolutional neural network is used to model both short-term and long-term influences of events on stock price movements. Experimental results show that our model can achieve nearly 6% improvements on S&P 500 index prediction and individual stock prediction,

Author 一作： Ian Goodfellow 三作： Christian Szegedy Abstract 之前认为对抗样本对模型的欺骗性是因为模型的高度非线性和过拟合，本文证明了模型的易损性主要是因为模型的线性本质。而且本文提供了一个简单且快速的方法产生对抗样本，将产生的样本用于对抗训练可以提升模型的测试性能。 Introduction 在高维空间的线性行为已经足够产生对抗样本，这种观点可以是我们设计一种简单且快速的方法用以生成对抗样本使得对抗训练实用化(FGSM, Fast Gradient Sign Method) 我们发现对抗训练可以提供额外的正则化。 非线性才能抵抗对抗干扰，长远来看，我们设计更加强大的优化方法用以训练更加非线性的模型来提高模型的对对抗样本的抗性 Related Work 现在已经有人开始设计抵抗模型，但是还没有任何一个模型保持在clean inputs上的高准确率的同时具有抵抗力 Linear explanation the precision of an individual input feature is limited. 输入的精度是有限的，比如说rgb图像，每个像素是8bit, 精度就是1/255 所以分类器不可能对输入x和 对抗样本 x+delta 做出不同的相应，如果delta比精度还小