fasttext

参考文章： 推荐系统——用户画像 1. 用户画像 1.1 用户画像定义 用户画像：也叫用户信息标签化、客户标签；根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。从电商的角度看，根据你在电商网站上所填的信息和你的行为，可以用一些标签把你描绘出来，描述你的标签就是用户画像。构建用户画像的核心工作即是给用户贴“标签”，而标签是通过对用户信息分析而来的高度精炼的特征标识。 用户画像不是推荐系统的目的，而是在构建推荐系统的过程中产生的一个关键环节的副产品，包括但不仅限于用户的注册资料、标签，各种深度学习得到的 embedding 向量。 用户画像是对现实世界中用户的数学建模，主要包括两方面： 描述用户，即用户在业务信息维度中的信息投射 通过分析挖掘用户尽可能多的数据信息，对用户信息数据进行抽象，提炼，转化。 用户画像关键元素： 维度、量化 按照对用户向量化的手段来分，用户画像构建方法分成三类： 第一类就是原始数据。直接使用原始数据作为用户画像的内容，如注册资料，行为轨迹等信息，除了数据清洗等工作，数据本身并没有做任何抽象和归纳。这种方法实现简单，但通常对于用户冷启动等场景非常有用。 第二类就是统计分析。方法就是通过大量数据进行统计分析，这是最常见的用户画像数据，常见的兴趣标签，就是这一类。 第三类就是机器学习。通过机器学习，可以得出人类无法直观理解的稠密向量

在自然语言处理领域，文本表示学习技术可以帮助我们将现实世界转化为计算机可以处理的数据，以求更精准地建立学习模型。而在中文搜索场景下，同音词、易混词、错别字等文本的召回和相似度匹配一直存在着棘手的问题，本文将尝试从图计算的角度来进行中文词向量的训练，并取得了积极的效果，希望与大家一同分享交流。文章作者：翟彬旭，腾讯云大数据高级研发工程师。 一、技术背景 在中文搜索场景下，同音词、易混词、错别字等文本的召回和相似匹配是一个常见且棘手的问题。NLP(自然语言处理)社区对文本的匹配和召回已经经历从早期的基于分词和倒排索引的全文检索过渡到如今流行的文本向量检索。 向量检索通过训练和学习文本的分布式表征得到文本向量，可以解决倒排索引无法解决的语义相似度匹配问题，而且针对高维向量的大规模快速检索在业界已经有相当成熟的解决方案，如Faiss、Nmslib等。 但目前业内常用的表示学习方法很少考虑中文场景下由于输入法输入错误、发音问题等导致的文本相似匹配问题。 例如，在笔者所在的腾讯云企业画像产品研发过程中，就经常遇到类似的需求。当用户在我们的产品中搜索“腾迅科技集团股份有限责任公司”时，此时用户希望搜索的企业工商注册名称应该是“腾讯科技（深圳）有限公司”，但由于输入法错误（将“腾讯”错输为“腾迅”）、认知错误（将“有限责任公司”误认为“集团股份有限责任公司”）等原因

目录 一、前言 二、软件漏洞数据分析 三、软件漏洞分类实验流程 四、软件漏洞文本预处理 五、软件漏洞文本表示方法 六、软件漏洞分类模型构建 七、软件漏洞分类实验结果与分析 八、总结 一、前言 本人基于网络空间安全研究方向做过入侵检测实验、软件缺陷分类实验、软件安全漏洞分类管理实验等，网络安全方向相关数据集可参看个人总结： 网络安全相关数据集介绍与下载 ( 具体可参看个人博客： Asia-Lee )。 本文的主要目的是为了构造一个有效的软件漏洞分类模型，该模型能有效提高软件漏洞分类管理的效率和软件漏洞分类的准确率，减少系统被攻击和破坏的风险，降低漏洞修复的成本。本文主要使用深度学习相关方法构造漏洞分类模型进行实验调研。 二、软件漏洞数据分析 实验所用数据为美国国家计算机 通用漏洞数据库（National Vulnerability Database，NVD ）和 中国国家信息安全漏洞库（China National Vulnerability Database of Information Security，CNNVD） ，主要以 NVD漏洞数据库 中的漏洞数据为基准数据，本次实验使用的是从2002年到2019年5月份的NVD漏洞数据。 NVD漏洞数据库收录的漏洞数据具有唯一性，规范性，兼容性和统一性，采用国际编码语法规范，因此，可以作为软件漏洞分类研究的基准数据集