就算是戴上口罩，AI也知道你在说什么

萧箫发自凹非寺
量子位报道 | 公众号 QbitAI

吃饭的时候，想要和对面聊聊天，然而周遭嘈杂的声音，让你根本不知道ta在说什么？

又或者，想与听障人士交流，然而对方听不见你的声音？

现在，检测面部肌肉变化的AI来了，只要你动了嘴，哪怕没出声，它也能知道你在说什么。

这是EMNLP 2020的最佳论文，来自UC伯克利的两位作者，用AI和电极做了个“沉默语音”的检测模型，可以检测到你想说、但没说出声的话。

其中的原理究竟是什么，我们来一探究竟。

用电极收集你小声哔哔的证据

“无声语音”的本质，是人在说话时面部、颈部肌肉的变化。

说白了，你在对口型时虽然没有出声，但你的脸和脖子“出卖”了你。

而能够检测“无声语音”的AI，也正是这么被做出来的。

在收集数据时，研究者会先在实验者的脸上等部位贴8个贴片，每个贴片都是一个“监视肌肉变化”的传感器，像这样：

在这之后，需要录制一段实验者的有声语音，并与肌电图进行对应，如下图（会录制两种语音数据，一种每句话4个词左右，另一种每句话16个词左右）：

这种方法能够将肌肉的变化情况、和语音的类型对应起来。

在记录数据的过程中，还要再录制一段“对口型”的肌电图，但不需要发声，也就是“沉默语音”。

之所以要收集两份肌电图，是因为人在无声说话时，肌肉的变化与发声说话时的变化有些区别，例如部分发音部位的肌肉震颤幅度会变小，语速也有所变化。

但如果要在无声环境下，根据肌肉变化识别出想说的语音，就只能用对口型时的无声肌电图。

显然，这些原因使得AI的训练变得非常困难。

为了尽可能将识别准确率放大，研究人员额外采用了一种结构来降低模型损失。

不到20小时的语音集，效果还不错

那么，经由这种方法训练出来的模型，效果怎么样？

研究人员分别在封闭词集 （Closed Vocabulary Condition）和开放词集 （Open Vocabulary Condition）上，对这种模型进行了测试。

其中，封闭词集主要指介词、限定词、连词等词汇（如of、and），这种词汇集合少，容易训练，AI也容易形成“肌肉记忆”。

而开放词集的范围，就要广泛得多了，包含名词、形容词等等词汇，目前的词语可以说是不计其数，想要让AI会认这些词汇，难度就要高得多。

判定的方式，是WER，具体的计算方式是这样的（原理类似于计算原句的出错率）：

目前，这个AI在封闭词集上的训练水平已经达到了3.6%的WER（越小越好）：

至于开放词集的检测，AI经过训练后，WER也从高达88%的水平下降到了68%。

虽然在开放词集上的检测，看起来效果并不完美，但别忘了，这个模型所用的数据集并不大。

封闭检测数据集，一共只有不到1小时的语音数据；开放检测数据集，也只有18.6个小时的语音集。

而且，这些语音集还是无声、有声数据的合集。

不到20个小时的语音数据，训练效果就已经达到了这种水平。

如果能获得更大的数据样本，模型的效果还会进一步提升。

作者介绍

一作David Gaddy，来自UC伯克利的NLP组。平时的研究方向是无监督学习、语法分析和无声演讲。

Daniel Klein，一作的导师，研究方向主要是无监督学习、语法分析、信息提取和机器翻译。

One More Thing

这届EMNLP的各种NLP研究，简直不留活路：

来自北京中科院、北京信息工程学院的研究者，还发明了一种讽刺检测模型。

这种AI模型会通过同时检测文本和图像，进行多模态语义理解，从而检测出一个人在社交媒体上发出的动态，是否有讽刺的意思。

就像这句话：“这可真是场座无虚席的比赛，而且我们居然还抢到了位置。”

表面上，这是句再正常不过的话，然而在配上图片后，画风顿时变得诡异了起来：

又例如这句话：“看起来就好吃极了。”

然而当看到散落在盒子边缘的芝士和馅料时，显然这又是一句充满讽刺意味的语句。

现在，这些语义信息都已经被拿来喂给了AI，并训练出了一个“懂得听讽刺话”的模型。

目前这个模型，已经在推特这样的社交媒体上进行了验证，取得了84.33%的好效果。

看了这个AI模型，你还敢偷偷说老板坏话吗？

论文地址：
https://arxiv.org/abs/2010.02960

参考链接：
https://venturebeat.com/2020/11/24/uc-berkeley-researchers-detect-silent-speech-with-electrodes-and-ai/
https://www.aclweb.org/anthology/2020.findings-emnlp.124/
https://dgaddy.github.io/
https://www2.eecs.berkeley.edu/Faculty/Homepages/klein.html

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。