10分钟标注数据胜过一年前的960h，FAIR新研究实现语音识别大进展（模型已开源）
近日，来自 FAIR 的研究者提出结合自训练和无监督预训练执行语音识别任务，证明这两种方法存在互补性，并取得了不错的结果。 选自arXiv，作者：Qiantong Xu等，机器之心编译，编辑：魔王。 自训练和无监督预训练成为使用无标注数据改进语音识别系统的有效方法。但是，我们尚不清楚它们能否学习类似的模式，或者它们能够实现有效结合。 最近，Facebook 人工智能研究院（FAIR）一项研究展示了，伪标注和使用 wav2vec 2.0 进行预训练在多种标注数据设置中具备互补性。 只需来自 Libri-light 数据集的 10 分钟标注数据和来自 LibriVox 数据集的 5.3 万小时无标注数据，该方法就能在 Librispeech clean 和 other 测试集上取得 3.0%/5.2% 的 WER（词错率），甚至打败了仅仅一年前基于 960 个小时标注数据训练的最优系统。在 Librispeech 所有标注数据上训练后，该方法可以达到 1.5%/3.1% 的词错率。 论文链接： https:// arxiv.org/pdf/2010.1143 0.pdf 论文简介 近期，基于标注语音数据的语音识别模型取得了显著进展。但这些模型存在一个缺陷：它们需要大量标注数据，而这些数据仅针对英文和少数几种语言。因此，纯监督式的训练对于全球 7000 种语言中的绝大多数是不可行的