通过神经图稳定对脑机接口的即插即用控制，四肢瘫痪患者可以轻松控制电脑光标

点击上面"脑机接口社区"关注我们

更多技术干货第一时间送达

导读

脑机接口(BCI)能够控制有严重运动障碍患者的辅助设备。BCI的局限性在于长期可靠性差和每天重新校准时间长，这在现实世界的实用性有一定的限制。为了开发无需重新校准即可实现稳定性能的方法，加州大学旧金山分校(University of California, San Francisco)的研究人员在瘫痪患者身上使用了一种128通道的慢性皮质电图(ECoG)植入物，从而可以稳定地监视信号。研究人员在该项试验中证明了，长期的闭环解码器适应性(其中解码器权重在几天内跨会话进行)有助于神经图和“即插即用”控件的合并。相比之下，每天重新初始化会导致性能随着可重新学习而降低。研究人员表示，他们的结果通过利用ECoG接口的稳定性和神经可塑性，为可靠，稳定的BCI控制提供了一种方法。

稳定的记录使大脑和机器学习系统能够随着时间的推移建立“伙伴关系”

在一项研究中，加州大学旧金山分校(University of California, San Francisco)的研究人员表明，机器学习技术帮助瘫痪的个体通过他们的大脑活动来学习控制计算机光标，而无需每天进行大量的再训练。

“近年来，BCI领域取得了很大的进步，但是由于必须每天对现有系统进行重置和重新校准，因此他们无法利用大脑的自然学习过程。这项研究的资深作者，加州大学旧金山分校神经病学系副教授Karunesh Ganguly博士说：“这就像要有人从头开始学习一遍又一遍地骑自行车。大脑复杂的长期学习模式可以使人平稳地工作，这是瘫痪者从未有过的表现。”

“脑机接口领域近年来取得了进步，但由于现有的系统每天都要重新设置和校准，它们还不能进入大脑的自然学习过程。这就像让一个人从头开始一遍又一遍地学习骑自行车，”加州大学旧金山分校神经内科副教授、该研究的资深作者、医学博士Karunesh Ganguly说。“让人工学习系统适应大脑复杂的长期学习模式，这是以前从未在瘫痪患者身上展示过的。”

医学博士Karunesh Ganguly(右)在2016年与学生Stefan Lemke讨论ECoG大脑记录数据

摄影：Steve Babuljak

“即插即用”性能的成就证明了所谓的ECoG电极阵列在BCI应用中的价值。一种ECoG阵列包括一个约便利贴大小的电极垫，通过手术放置在大脑表面。它们可以长期、稳定地记录神经活动，并已被批准用于癫痫患者的癫痫发作监测。相比之下，过去的脑机接口技术使用的是“针垫”式的锋利电极阵列，这种阵列穿透脑组织获得更敏感的记录，但随着时间的推移，信号往往会转移或丢失。在这个案例中，作者获得了在瘫痪患者中长期慢性植入ECoG阵列的研究设备许可，以测试其作为长期、稳定的BCI植入物的安全性和有效性。

ECoG阵列包括电极板，该电极板通过外科手术放置在大脑表面上。

图片由Noah Berger摄影

在9月7日发表于《nature biotechnology》上的新论文中，Ganguly的团队记录了在四肢瘫痪的患者身上使用ECoG电极阵列的情况。参与者还参加了一项临床试验，旨在测试ECoG阵列的使用，以使瘫痪的患者控制假肢的手臂和手，但是在新论文中，参与者使用植入物来控制屏幕上的计算机光标。

研究人员开发了一种脑机接口算法，利用机器学习将ECoG电极记录的大脑活动与用户所需的光标移动相匹配。最初，研究人员遵循每天重置算法的标准做法。参与者首先想象特定的颈部和手腕动作，同时看着光标在屏幕上移动。渐渐地，计算机算法会自我更新，使光标的运动与由此产生的大脑活动相匹配，有效地将光标的控制权转交给用户。然而，每天开始执行此过程会严重限制可以实现的控制级别。掌握设备的控制权可能要花费几个小时，而参与者有时不得不完全放弃。

然后，研究人员切换到允许算法继续更新以匹配参与者的大脑活动，而不用每天重新设置它。他们发现，大脑信号和机器学习增强算法之间的持续相互作用，会在许多天内导致性能的持续改善。最初，每天都有一些需要弥补的损失，但很快参与者就能够立即达到顶级水平的表现。

a，游标控制管道。参与者大脑MRI上覆盖的ECoG电极(按解剖区域着色)的图示。在速度卡尔曼滤波(KF)解码器中，将ECoG信号连续流、滤波并合并到神经特征中。解码器权重是通过闭环解码器自适应过程(CLDA)学习的。S1，初级体感皮层；M1，初级运动皮层；PMC，运动前皮层；PMV，腹前运动皮层；和SMA，辅助运动区域。

上面两幅图为ltCLDA可以提高性能。

b，居中任务中目标的相对大小。

c，“固定”控制期间(即解码器参数保持不变)测得的BCI性能。在每日初始化和ltCLDA期间，速度和准确性会发生变化。

d，通过Fitt的ITR变化来衡量BCI在一段时间内的表现。

e，x速度(Vx)和y速度(Vy)解码器权重之间的角度随时间变化。垂直线标出了每次试用的解码器与每天的最终试用之间的角度。

f，每次试验解码器与ltCLDA结束时最终(即第36天)的最终解码器之间的角度。

g，通过将解码器与每个想象的运动会话(虚线)拟合，或将解码器与使用之前所有想象的运动会话(实线)拟合来计算R2值。因此，如果值为7，则使用了前7个会话。

h，左：显示用于模拟ltCLDA的双学习器系统的框图。右图：使用λ值的半衰期在模拟CLDA之后进行固定控制的“目标时间”（补充说明）。箱形图显示了每一个拟合值在50次模拟固定块试验中到达目标的时间分布;红色垂直线表示目标的中位数时间。箱形图的边缘对应于数据的第25个和第25个四分位数，而须对应于整个数据分布。

UCSF Health和San Francisco Veterans的神经病学专家Ganguly表示：“我们发现，通过确保算法的更新速度不会超过大脑的追踪速度，可以进一步改善学习速度-大约每10秒更新一次。”“我们认为这是在大脑和计算机这两个学习系统之间建立合作关系，最终让人工接口成为用户的延伸，就像他们自己的手或手臂一样。”

随着时间的流逝，参与者的大脑能够放大神经活动模式，从而可以通过ECoG阵列最有效地驱动人工接口，同时消除效率低的信号–修剪过程就像人们认为大脑学习任何复杂任务的方式一样。研究人员观察到参与者的大脑活动似乎形成了根深蒂固且一致的心理“模型”，用于控制BCI，这种情况在日常重置和重新校准中从未发生过。经过数周的持续学习，在重置界面后，参与者迅速重新建立了相同的神经活动模式来控制设备-有效地将算法重新训练到其先前状态。

一种用于光标控制的改进解码器映射

“一旦用户建立了控制界面的解决方案的持久记忆，就不需要重新设置，”Ganguly说。“大脑很快就会汇聚到同一个解决方案上。”

最终，一旦专业知识建立起来，研究人员表明，他们可以完全停止算法的自我更新，参与者可以简单地每天开始使用界面，而不需要再训练或重新校准。在没有再训练的44天里，表现没有下降，参与者甚至可以连续几天不练习，表现也几乎没有下降。通过一种BCI控制(移动光标)的稳定专业知识的建立，也允许研究人员开始“堆叠”额外的学习技能——比如“点击”一个虚拟的按钮——而不损失性能。

这种即时的“即插即用”BCI性能长期以来一直是该领域的目标，但由于大多数研究人员使用的“针形”电极会随时间推移而移动，从而改变了每个电极看到的信号，因此一直无法实现。同样，由于这些电极穿透脑组织，免疫系统倾向于排斥它们，从而逐渐削弱其信号。ECoG阵列不如这些传统植入物敏感，但它们的长期稳定性似乎可以弥补这一缺点。ECoG记录的稳定性对于长期控制更复杂的机器人系统(如假肢)可能更为重要，这是Ganguly下一阶段研究的关键目标。