中国人工智能学会通讯 | 精准、安全、隐私保护的脑机接口

1 脑机接口

脑机接口是大脑和外部设备（计算机、机器人等）的直接交互通道，也是美国脑计划和中国脑计划的重要内容。闭环脑机接口系统架构如图1所示，其中脑电信号解码（信号处理、特征工程、分类回归）是其重要内容。

图1 脑机接口系统架构及典型应用

脑机接口主要分为有创和无创两大类。有创脑机接口一般需通过手术植入电极。人脑包含约860亿个神经元，有创脑机接口使用的植入式电极可采集单个神经元的脉冲放电活动，其时间和空间分辨率非常高，可用于视觉恢复、听觉恢复、运动功能恢复、语言解码等。但是，由于电极材料生物兼容性、人体排异反应等原因，植入式电极在大脑中会慢慢失效，需进行更换，增加了其成本和风险。无创脑机接口无需手术，一般通过脑电帽采集头皮脑电（EEG）数据，可用于无人系统控制、中风康复、游戏娱乐等。其优点是受众广、成本低、无风险，但也面临解码困难、对抗攻击、隐私泄露等挑战,这也是华中科技大学脑机接口与机器学习实验室的主要研究内容。

2 数据驱动的无创脑机接口分类问题解码

经典无创脑机接口范式包括很多分类问题，如运动想象（从脑电信号中区分用户想象运动的肢体器官，比如左手、右手、双脚等，可用于设备控制、中风康复等）、稳态视觉诱发电位（使用不同频率视觉信号刺激视网膜以诱发不同频率的脑电振荡，可用于设备控制、文字输入等）、P300事件相关电位（目标刺激出现后约300毫秒，脑电信号里出现的一个正向电位峰，可用于文字输入、测谎等）等。本节介绍基于数据驱动的无创脑机接口分类问题解码进展。

2.1 精准的无创脑机接口分类问题解码

当脑机接口用户处于安全可信的环境，如在家中使用非联网的脑机接口设备控制轮椅，就无需考虑对抗安全、隐私保护等问题，只需考虑精准解码。

脑电信号精准解码面临两个主要挑战：

• 脑电信号非平稳，即同一用户面对同一刺激诱发的脑电信号在不同时间表现不一。因此，每次使用之前都需进行校准。该过程费时费力，影响用户使用体验和脑机接口系统的大规模推广应用。
• 脑电信号个体差异大，即不同用户的脑电数据分布显著不同。因此，简单融合多个已有用户的脑电数据训练出的解码模型，在新用户上效果往往不好。

所以，脑电信号精准解码的关键是：如何降低来自不同用户的脑电数据分布差异，从而使用其他用户的脑电数据加速新用户校准，提升脑机接口系统的易用性？

2020年，本实验室提出了两种简单高效的数据对齐策略，无监督的欧氏对齐 (Euclidean Alignment, EA)和有监督的标签对齐(Label Alignment, LA)，用于降低不同用户脑电数据分布差异，如图2所示。其中，欧氏对齐只使用两个简单公式，完全无监督，运算代价低，对齐效果好。与文献中的黎曼对齐方法相比，欧氏对齐能提高脑电分类准确度2%-11%、运算速度3-19倍，已被国内外同行应用于8种常见的无创脑机接口范式，对应论文在IEEE生物医学工程汇刊近5年发表的全部1733篇论文中被引排名第3。标签对齐把欧氏对齐从无监督推广至有监督场景，对分类准确度提升更多，但新用户需有少量带标签的校准数据，因此应用场景相对于欧氏对齐略微受限。

图2 无监督欧氏对齐 (EA)和有监督标签对齐(LA)

在数据对齐的基础上，本实验室进一步提出脑机接口迁移学习完整流程，如图3所示。迁移学习很早就被用于脑电信号解码，其基本思路是借用来自其他用户的数据帮助当前用户进行更快更好的模型训练，但已有工作通常只在分类或回归模型的训练中考虑迁移学习（图3左）。图3右所示的迁移学习完整流程融入数据对齐，并在更多环节，如空间滤波、特征工程等步骤中考虑迁移学习，进一步提升解码效果。大量实验表明，在每个环节中考虑迁移学习均有效果，其中，数据对齐效果最为显著。

图3 脑机接口迁移学习完整流程

2.2 精准、安全的无创脑机接口分类问题解码

脑机接口系统的对抗攻击（图4）是指攻击者对脑电信号施加一个肉眼不可见、算法也很难检测出的微小扰动（可通过电磁干扰等方式加入），故意让脑机接口解码结果出错。比如，用户想要输出的答案是Y，对抗攻击后解码输出变成N，篡改用户意图；或者，用户想要控制轮椅向左走，对抗攻击后解码输出变成向右走，可能会使轮椅撞上障碍物或冲入车流，危害用户安全。

图4 脑机接口对抗攻击流程

2020年，美国智库兰德公司调研报告指出，对脑机接口系统进行对抗攻击可造成严重后果。比如，指挥官通过脑机接口发号施令，对抗攻击可让其发出错误命令，攻击友军。但是，该报告也认为脑机接口对抗攻击技术实现难。

本实验室2019年开始研究脑机接口系统的对抗攻击，为国际最早。目前本实验室对多种不同范式的脑机接口系统均可实现接近100%的攻击成功率，即通过施加微小干扰，几乎可任意篡改脑机接口系统的输出，其效率比随机噪声干扰提升10-300倍。

脑机接口系统存在对抗攻击安全隐患，亟需设计更加安全的解码算法。一个常见策略是对抗训练，即在训练数据中加入对抗样本，这样训练出来的模型在面临攻击时安全性会更强。但是，这些对抗样本污染了训练数据集，所以最终模型在正常样本（没有被攻击的样本）上的分类准确度可能会下降。

2024年《工业和信息化部等七部门关于推动未来产业创新发展的实施意见》要求“研制一批易用安全的脑机接口产品”。为了兼顾脑机接口解码算法的易用性（精准解码）与安全性（对抗安全），本实验室提出了基于数据对齐的对抗训练策略, 融合迁移学习与对抗训练来同时提高解码准确度和对抗安全性，如图5所示。具体地，先使用数据对齐以利用来自其他用户的数据提升脑机接口对当前用户正常样本的分类正确率，再结合数据对齐和对抗训练进一步提升脑机接口模型在当前用户样本上的解码准确度和对抗鲁棒性。实验结果显示，本算法可提高正常样本的分类正确率12.5%、对抗样本的分类正确率29倍。

图5 基于数据对齐的对抗训练

2.3 精准、安全、隐私保护的脑机接口分类问题解码

随着人工智能技术快速融入日常生活的方方面面，隐私保护等伦理考量变得愈发重要。2018年5月，欧盟《通用数据保护条例》（GDPR）开始实施，对欧盟用户的隐私保护提出了严格要求，并被英国、韩国、日本、美国加州等国家和地区广泛采用或借鉴。2021年11月，我国《个人信息保护法》开始实施，其中第28条规定“敏感个人信息是一旦泄露或者非法使用，容易导致自然人的人格尊严受到侵害或者人身、财产安全受到危害的个人信息，包括生物识别、…特定身份、…等信息…。只有在具有特定的目的和充分的必要性，并采取严格保护措施的情形下，个人信息处理者方可处理敏感个人信息。”

无创脑机接口中使用的脑电信号是一种重要的生理信号，从中可以挖掘出很多个人隐私信息，如用户的身份、性别、年龄、情绪，以及大脑相关疾病，如癫痫、抑郁症、阿兹海默症等。这些隐私信息需被严格保护。本节前面介绍的迁移学习算法都假定可以直接获取其他用户的原始脑电数据，与新用户脑电数据融合进行迁移学习，提升新用户脑电分类效果。在严格隐私保护的要求下，无法获得其他用户的原始脑电数据，如何进行迁移学习以加速新用户校准，并提高对抗安全性，是一个尚未被研究的重大挑战。

针对上述问题，本实验室提出了对齐增强对抗集成算法（图6），在隐私保护的前提下，同时实现精准解码和对抗安全。具体地，我们考虑了无源域迁移学习、联邦学习和源域数据扰动三种不同的隐私保护场景：

图6 对齐增强对抗集成算法，实现精准、安全、隐私保护的脑机接口解码

• 无源域迁移学习。其基本思路还是迁移学习，即借用来自其他用户的数据帮助当前用户进行更快更好的校准。但是现在出于隐私保护的考虑，无法获取其他用户的原始脑电数据；其他用户只提供一个在其脑电数据上训练好的模型给当前用户，以保护其他用户的脑电数据隐私。在这种场景下，提出的算法仍然可以同时实现精准解码和对抗安全。
• 联邦学习。该场景中，一个中心节点维护一个全局模型，并分发给各个用户；每个用户基于自身数据计算出全局模型的梯度更新，然后将其发送给中心节点；中心节点融合来自多个用户的梯度更新，并更新全局模型，再把更新后的全局模型分发给各个用户。不断进行上述流程，就可以在不接触用户原始数据的前提下，训练得到一个较好的全局模型，从而实现隐私保护。提出的算法在联邦学习隐私保护场景中，也可同时实现精准解码和对抗安全。
• 源域数据扰动。如果算法设计者可以拿到其他用户的脑电数据，就会有更多的自由度来设计更好的解码模型。为了保护其他用户的脑电数据隐私，我们将其原始脑电数据加上一些微小扰动，隐藏相关的隐私信息（如用户的身份、性别等），但是不影响其中的任务信息（如运动想象、文字输入等），且这些隐私保护扰动在对抗扰动等情况下仍保持有效。

实验结果显示，在这三种隐私保护场景中，提出的解码算法均可同时实现精准解码和对抗安全，且解码准确度优于最新的不考虑隐私保护的算法。

3 知识数据融合的无创脑机接口解码

本节把知识融入前述介绍的纯数据驱动无创脑机接口解码算法，进一步提升其解码准确度。

徐宗本、潘云鹤、张钹等院士专家很早就指出了知识数据融合的必要性。2021年，徐宗本院士在《中国科学-信息科学》发表“人工智能的10个重大数理基础问题”论文，指出“后深度学习时代必然追求把知识推理与深度学习能够结合起来，以使得深度学习在保持强大的数据学习能力基础上，具有更明确的可解释性和更强的泛化性”。2022年，潘云鹤院士在世界人工智能大会科学前沿发表《AI的走向：知识的登台与升级》演讲指出，“大数据和跨媒体智能、跨媒体知识表达相结合，将是人工智能第四次创新方向，这一方向由数据和知识双轮驱动。大数据、大模型固然重要，但是大知识同样很重要”。2024年，张钹院士在清华大学人文清华讲坛演讲指出，“必须大力发展科学完备的人工智能理论，在此基础上，才能发展出安全、可控、可信、可靠和可扩展的人工智能技术。为了克服人工智能的固有缺点，唯一的办法是把知识、数据、算法和算力这四个要素同时运用”。

本实验室从2023年开始研究知识数据融合的脑机接口精准解码，其中的知识至少包含三个方面：

• 脑机接口范式的神经学原理。比如，想象右手运动会导致大脑左半球某个区域能量发生变化、想象左手运动会导致大脑右半球某个区域能量发生变化等。
• 专家手工设计的特征。自1924年人类的脑电信号首次被发现以来，经过百年的研究，学者们已总结出对不同脑机接口范式的有效手工特征提取方法，可用于指导深度神经网络进行更好的特征提取。
• 传统信号处理和机器学习方法。不同的脑机接口范式适配不同的信号处理和机器学习方法。比如，运动想象脑机接口中特有的共同空间模式滤波器，结合线性判别分析分类器，效果较好。长期的研究中通过各种试错总结出来的专家经验与数据结合，可提升脑电信号的解码性能。

以经典的运动想象脑机接口为例，我们提出了图7所示的知识数据融合的解码流程，在数据增强、空间滤波、特征工程、分类回归模型设计等模块中融入先验知识、提升解码效果。首先，我们分别研究了在单个模块中如何融入先验知识，并发表了对应的论文。我们进一步实验证实了融合上述所有模块能获得更好的效果，下面详细介绍。

图7 知识数据融合的脑机接口解码流程

图8上半部分展示了基于传统机器学习的运动想象解码流程。对输入脑电信号做多个带通滤波，再对每个频带信号进行共同空间模式空域滤波（把原始的多个脑电通道加权组合成6-10个新的脑电通道，降低通道数和运算代价，提升每个新通道信噪比），然后再提取相应的能量特征，设计分类器进行分类。

图8 知识数据融合的运动想象脑机接口解码实现

图8下半部分展示了我们提出的知识数据融合的运动想象解码流程。对于图8上半部分的每个步骤，我们都通过一层或者多层神经网络实现。因为传统方法使用手工提取的特征，分类器较简单，用少量的数据就可以训练得比较好，所以我们用传统方法里对应的参数来初始化下面神经网络里对应的参数，再用少量的训练数据对神经网络做微调，即可取得很好的解码效果，优于现有的10多种方法。消融实验进一步显示在每一步融入知识都有效果，并且在所有步骤中均融入知识的效果最优。

4 拓展脑机接口分类问题解码算法至回归

前面介绍的算法都是针对无创脑机接口中的分类问题，如运动想象、P300事件相关电位等。无创脑机接口中也有很多重要的回归问题，如从脑电信号中估计用户疲劳度、注意力、麻醉程度、反应时间、维度情绪等。但是，目前文献中对脑机接口的回归问题研究相对较少。

既然脑机接口分类问题已有很多效果很好的算法，是否可以通过简单的步骤把这些分类算法直接推广到回归问题？本实验室从2017年开始进行相关研究，提出了基于模糊集构建模糊类、把分类算法高效拓展到回归问题的思路（图9），在脑机接口回归问题的信号处理和迁移学习中都取得了良好效果。目前本实验室正在把前述精准、安全、隐私保护的脑机接口分类问题解码算法，以及知识数据融合的分类问题解码算法，通过模糊集相关方法拓展至回归问题。

图9 使用模糊集构建模糊类、推广分类迁移学习解码算法至回归

    基于上述算法，实验室参加了由国家自然科学基金委员会信息科学部、中国电子学会和清华大学共同举办的中国脑机接口比赛，2021-2022年蝉联技术赛全国总冠军；2023年获 5 个赛项中的 2 个单项冠军, 总成绩全国亚军；2024 年获算法类3个赛项中的2个特等奖（冠军）和1个一等奖，并获央视新闻直播间报道。目前，本实验室也在进行多模态言语想象脑机接口、基于脉冲神经网络的运动意图识别等有创脑机接口解码算法研究。

原文链接：精准、安全、隐私保护的脑机接口