自然语言理解

原文链接： https://yq.aliyun.com/articles/8301 作者：李永彬 发布时间：2016-03-17 16:37:47 自然语言理解（Natural Language Understanding，NLU）以语言学为基础，融合逻辑学、心理学和计算机科学等学科，试图解决以下问题：语言究竟是怎样组织起来传输信息的？人又是怎样从一连串的语言符号中获取信息的？换种表达就是，通过语法、语义、语用的分析，获取自然语言的语义表示。 自然语言理解的结果，就是要获得一个语义表示（semantic representation）： 分布语义，Distributional semantics：这种方法的优点在于，它完全是数据驱动的方法，并且能够很好的表示语义，但一个很大的缺点在于，它的表示结果是一个整体，没有进一步的子结构。 框架语义，Frame semantics：这种方法和distributional semantics相比，能够表达丰富的结构。 模型论语义，Model-theoretic semantics： 这种方法的典型框架是把自然语言映射成逻辑表达式（logic form），是对世界知识的完整表示，比前两种方法表达的语义更加完整，但是缺点是semantic parser的构建比较困难，这大大限制了该方法的应用。 我们目前采用的是frame

翻译Pradeep Dasigi的一篇长文 Knowledge-Aware Natural Language Understanding 基于知识感知的自然语言理解 摘要 Natural Language Understanding (NLU) systems need to encode human gener- ated text (or speech) and reason over it at a deep semantic level. Any NLU system typically involves two main components: The first is an encoder, which composes words (or other basic linguistic units) within the input utterances compute encoded representations, which are then used as features in the second component, a predic- tor, to reason over the encoded inputs and produce the desired output. We argue that the utterances themselves

1、ACL Anthology A Digital Archive of Research Papers in Computational Linguistics and Natural Language Processing 旧版： http://aclweb.org/anthology/ 新版： http://aclanthology.info/ 2、ACL Anthology Network http://clair.eecs.umich.edu/aan/index.php 3、ACL Wiki http://www.aclweb.org/aclwiki 4、Machine Translation Archive Electronic repository and bibliography of articles, books and papers on topics in machine translation, computer translation systems, and computerbased translation tools http://www.mt-archive.info/ 5、Text Retrieval Conference(TREC) http://trec.nist.gov/ 6、LREC Conference The

GLUE GLUE 是一个用于评估通用 NLP 模型的基准，其排行榜可以在一定程度上反映 NLP 模型性能的高低。 （GLUE 基准针对的是英文任务。） ChineseGLUE ChineseGLUE：为中文NLP模型定制的自然语言理解基准。 目前拥有八个数据集的整体测评及其基线模型，目前已经有 20多位来自各个顶尖机构的自愿者加入并成为了创始会员。成员包括全国各地关注 NLP 的热心专业人士，包括清华、北大、浙大等知名高校的毕业生。 项目地址： 点击查看 ChineseGLUE包括： 1）中文任务的基准测试，覆盖多个不同程度的语言任务 2）公开的排行榜 3）基线模型，包含开始的代码、预训练模型 4）语料库，用于语言建模、预训练或生成型任务 数据集： 8 个覆盖不同任务的有代表性的数据集，包括： 1. LCQMC 口语化描述的语义相似度任务 2. XNLI 语言推断任务 3.TNEWS 今日头条中文新闻（短文本）分类 4.INEWS 互联网情感分析任务 5.DRCD 繁体阅读理解任务 6.CMRC2018 简体中文阅读理解任务 7. CCKS2018 Task3 智能客服问句匹配 8. MSRANER 命名实体识别 来源： https://blog.csdn.net/zengNLP/article/details/102752940