snorkel

from: https://blog.csdn.net/sinat_26917383/article/details/54908389 一、NLP标注工具 来源： 《构想：中文文本标注工具（附开源文本标注工具列表）》 Chinese-Annotator 来源： https://github.com/crownpku/Chinese-Annotator 能不能构建一个中文文本的标注工具，可以达到以下两个特点： 标注过程背后含有智能算法，将人工重复劳动降到最低； 标注界面显而易见地友好，让标注操作尽可能简便和符合直觉。 答案是可以的。事实上很多标注工具已经做到了这一点，最先进的如Explosion.ai的Prodigy；然而开发了著名的NLP开源包Spacy的explosion.ai选择了将Prodigy闭源，而Spacy支持中文也仍然遥遥无期。我们希望构建一个开源的中文文本标注工具，而本文很多的技术灵感正是来自Prodigy文档。 流程： 用户标一个label 主动学习的后台算法分为online和offline部分。online部分即时更新模型，可使用诸如SVM、bag of words等尽可能快的传统方法；offline部分当标注数据积累到一定数量时更新模型，可使用准确度较高的深度学习模型。 模型更新后，对尽可能多的example做预测，将确信度排序

## 开源的标注工具 自然语言处理标记工具汇总 https://blog.csdn.net/wangyizhen_nju/article/details/94559607 spacy原来有两个标注工具，displaCy-ent和displaCy，一个ner一个依赖关系. Annotator for Chinese Text Corpus (UNDER DEVELOPMENT) 中文文本标注工具 自然语言处理的大部分任务是监督学习问题。序列标注问题如中文分词、命名实体识别，分类问题如关系识别、情感分析、意图分析等，均需要标注数据进行模型训练。深度学习大行其道的今天，基于深度学习的 NLP 模型更是数据饥渴。 最前沿的 NLP 技术往往首先针对英文语料。英文 NLP 的生态很好，针对不同有意思的问题都有不少大规模语料公开供大家研究，如斯坦福的 SQuAD 阅读理解语料。中文方面开源语料就少得多，各种英文 NLP 上的犀利模型和前沿技术都因为中文语料的匮乏很难迁移过来。 另一方面，对于一些垂直领域，如医疗、金融、法律、公安等等，专有名词和特有需求甚多，很难将比较 general 的比如在 wikipedia dump 上面训练的模型直接拿过来用。 传统人工标注数据的过程往往是繁琐和低效率的。刚标了一个“联想”是公司名，又来一个“联想集团”，再标一次又来一个“联想集团有限公司”