word2vec

3 月，跳不动了？>>> 本文参考原文- http://bjbsair.com/2020-03-25/tech-info/6302/ 今天来看看网红Attention的效果，来自ACL的论文Hierarchical Attention Networks for Document Classification **论文概述 ** 近年来，在NLP领域，好像最流行的就是RNN、LSTM、GRU、Attention等及其变体的组合框架。这篇论文里作者就对文本的结构进行分析，使用了双向GRU的结构，并且对Attention进行调整：考虑了word层面的attention和sentence层面的attention，分别对单词在句子中和句子在文档中的重要性进行了建模。仔细一想确实是挺合理的，一篇文档就是由无数句子构成的，而一个句子又是由无数单词构成的，充分考虑了文档的内部结构。 上图就是论文中文本分类模型的整体框架，可以看出主要分为四个部分： word encoder （BiGRU layer） word attention （Attention layer） sentence encoder （BiGRU layer） sentence attention （Attention layer） 首先回顾一下GRU的原理： GRU是RNN的一个变种，使用门机制来记录当前序列的状态

3 月，跳不动了？>>> 我们在production的系统里面会遇到一个问题，模型如何处理新进来的数据。重新训练的话下游的prediction可能会非常不一样，但是我们不知道到底怎么不一样。之前在MLSys 2020 看到了这个关于稳定心的文章，所以跟大家分享一下。这个paper尝试总结retraining对embedding的影响到底有多大，原文在这里 https://proceedings.mlsys.org/static/paper_files/mlsys/2020/104-Paper.pdf ​ proceedings.mlsys.org 既然我们要讨论稳定性，我们得先给一个稳定性的定义 这个定义的逻辑本身是根据下游的task来定义上游够不够稳定，如果完全稳定的话下游的模型就不用retrain了。这里文章讲用zero one可能是因为讨论的是NLP的问题，假设是ctr的话这种zero one loss就不合理。 对于word embedding的算法，文中用了三种 Matrix Completion GloVE word2vec quantization用的是uniform quantization，原文在这里 https://arxiv.org/pdf/1909.01264.pdf ​ arxiv.org Embedding distance 的算法文中也用了几个来做比较

某厂面试归来，发现自己落伍了！>>> TensorFlow 入门 介绍 TensorFlow 如何工作 声明变量和张量 使用占位符和变量 使用矩阵 声明操作符 实现激活函数 使用数据源 其他资源 TensorFlow 的方式 介绍 计算图中的操作 对嵌套操作分层 使用多个层 实现损失函数 实现反向传播 使用批量和随机训练 把所有东西结合在一起 评估模型 线性回归 介绍 使用矩阵逆方法 实现分解方法 学习 TensorFlow 线性回归方法 理解线性回归中的损失函数 实现 deming 回归 实现套索和岭回归 实现弹性网络回归 实现逻辑回归 支持向量机 介绍 使用线性 SVM 简化为线性回归 在 TensorFlow 中使用内核 实现非线性 SVM 实现多类 SVM 最近邻方法 介绍 使用最近邻 使用基于文本的距离 使用混合距离函数的计算 使用地址匹配的示例 使用最近邻进行图像识别 神经网络 介绍 实现操作门 使用门和激活函数 实现单层神经网络 实现不同的层 使用多层神经网络 改进线性模型的预测 学习玩井字棋 自然语言处理 介绍 使用词袋嵌入 实现 TF-IDF 使用 Skip-Gram 嵌入 使用 CBOW 嵌入 使用 word2vec 进行预测 使用 doc2vec 进行情绪分析 卷积神经网络 介绍 实现简单的 CNN 实现先进的 CNN 重新训练现有的 CNN 模型 应用

一、今天完成了行业代码匹配，还有数据没有展示 二、文本匹配，添加行业代码。 设计思路：首先，我们需要将完全相同的行业代码进行匹配，其次将相似的行业代码进行文本相似匹配，选取符合要求的前面几个行业，追加行业代码。 判断完全相同的部分就不解释了，主要解释如何使用word2vec模式进行文本相似的匹配。 需要使用的库 1、首先我们需要创建数据集（主要看数据集是以何种方式储存的），接收数据集（使用何种函数）。 数据集中单个元素与单个元素之间以空格隔开。接受数据集 1 sentences = word2vec.Text8Corpus("../词库/商业类别词.txt") #text8为语料库文件名 View Code 2、构建模型 1 model=gensim.models.Word2Vec(sentences, sg=1, size=100, window=5, min_count=2, negative=3, sample=0.001, hs=1, workers=4) 2 # print(model) 3 # 该步骤也可分解为以下三步（但没必要）： 4 # model=gensim.model.Word2Vec() 建立一个空的模型对象 5 # # model.build_vocab(sentences) 遍历一次语料库建立词典 6 # # model.train(sentences)

文章目录 7.4 词向量-word2vec 学习目标 7.3.1 Word2Vec模型介绍 7.3.1.1 为什么学习词嵌入 7.3.1.2 词向量是什么 7.3.1.3 词向量训练来源思想-统计语言模型 统计语言模型案例 统计语言模型缺点 7.3.1.4 神经网络语言模型NNLMNNLM 神经网络语言模型例子 7.3.1.4 Word2Vec 举例：CBOW前向计算与向量（参数）更新推导 7.3.1.5 拓展- Word2vec 的训练trick（优化） 7.3.2 Word2vec 词向量工具使用 7.3.3 总结 7.4 词向量-word2vec 学习目标 目标 知道统计语言模型 掌握神经网络语言模型NNLM原理 掌握wor2vec的实现方式以及优化特点 应用 无 7.3.1 Word2Vec模型介绍 7.3.1.1 为什么学习词嵌入 图像和音频处理系统采用的是庞大的高维度数据集，对于图像数据来说，此类数据集会编码为单个原始像素强度的向量。不过，自然语言处理系统一直以来都将字词视为离散的原子符号，将字词表示为唯一的离散 ID 还会导致数据稀疏性，并且通常意味着我们可能需要更多数据才能成功训练统计模型。使用向量表示法可以扫除其中一些障碍。 计算相似度 寻找相似词 信息检索 作为 SVM/LSTM 等模型的输入 中文分词 命名体识别 句子表示 情感分析 文档表示 文档主题判别

摘要 ：随着自媒体的发展，传统媒体面临着巨大的压力和挑战，新华智云运用大数据和人工智能技术，致力于为媒体行业赋能。通过媒体大数据开放平台，将媒体行业全网数据汇总起来，借助平台数据处理能力和算法能力，将有价值数据内容和能力开放给用户。本文主要从新华智云数芯平台，媒体行业数据特征，批流处理数据架构，以及通用的媒体大数据平台能力等几个方面介绍了如何基于MaxCompute做媒体大数据开放平台建设。 演讲嘉宾简介： 李金波，新华智云首席数据官。负责阿里巴巴大数据通用计算平台MaxCompute（原ODPS）框架架构。对高可用分布式系统设计开发有多年经验。先后研发过阿里巴巴机器学习平台在线预测系统和通用大数据计算平台框架系统。 本次直播视频精彩回顾，戳这里！ https://yq.aliyun.com/live/796 以下内容根据演讲嘉宾视频分享整理而成。 本次的分享主要围绕以下五个方面： 一、关于新华智云 二、数芯-媒体大数据开放平台 三、媒体大数据平台能力 四、Project依赖 五、几点小提示 一、关于新华智云 新华智云是新华社与阿里巴巴合资成立的一家公司，主要面向运用大数据和人工智能技术，致力于为媒体行业赋能。随着自媒体的发展，自媒体公司非常的火热，如今日头条，抖音等。对传统媒体来说，面临着巨大的压力和挑战。传统媒体急切的希望互联网的技术帮助他们赋能。 媒体大脑-数芯