Embedding Methods-细粒度文本分类,从相似度出发
背景 实体分类是指给一个实体一个指定的标签，这在关系抽取，知识问答等任务中非常重要。一般实体分类的标签都小于20个，但是当标签之间具有层级结构，同一个实体在不同的上下文中便可能具有不同的角色。例如： Madonna starred as Breathless Mahoney in the film Dick Tracy Madonna signed with Sire Records in 1982 and released her eponymous debut album the next year. 这两句话中，第一句的Madonna因为主演了电影，她的分类应该是 actress ，而下一句Maddona推出了新专辑，这里她的分类应该是 musician 。 对于细粒度实体分类来说，一个最大的困难是标注文本的收集，因为在标注的时候不考虑上下文的话可能会如上文的例子一样，会引入很多噪音。实际上一个优秀的细粒度实体分类模型应该是可以处理这些噪音并且在训练过程中发现label之间的关系的。 针对这些问题，本文使用ranking loss来解决这些问题，下面我们来看看文中是怎么解决的吧 模型 1. 学习目标 文中为了平衡细粒度标签之间的关系，将输入的文本信息和标签信息全都映射到一个低维空间 中，其中H表示embedding的维度。映射方法如下图所示