脑机接口通常是指不依赖于常规的脊髓与外周神经肌肉组织,在大脑与外部环境之间建立的一种新型的信息交流与控制通道,能够实现脑与外部设备之间的直接交互。脑机融合则是借助脑机接口技术,借鉴大脑的信息处理方式,实现生物脑智能与机器脑智能的深度融合。本章对脑机接口和脑机融合进行探讨,详细阐述脑机接口技术框架、代表性的脑机融合模型以及若干脑机融合应用实例。最后,讨论脑机接口和脑机融合技术在人机交互的发展方面存在的问题和调整策略,并对未来的发展方向进行展望。

本节将概括描述脑机接口和脑机融合的概念及其与人机混合、人机融合等相似概念的区别。同时分析脑机接口和脑机融合与传统感知方法的差异,并且讨论脑机接口和脑机融合技术为未来人机交互带来的优势。

脑机接口(brainmachineinterface , BMI )通常是指不依赖于常规的脊髓与外周神经肌肉组织,在大脑与外部环境之间建立的一种新型的信息交流与控制通道,能够实现脑与外部设备之间的直接交互( LebedevandNicolelis ,2006 )。“脑”一词意指有机生命形式的脑或者神经系统,而并非仅仅是“ mind ”,“机”意指任何处理或计算的设备( Wuetal. , 2014 )。 BMI 系统通过侵入式或者非侵入式的方法采集脑内信号,将脑活动信息转换成外部设备控制命令,实现脑对计算机、机器等外部设备的控制。同时,BMI 系统在一定程度上还可以实现对大脑的控制,通过神经调控等技术来刺激或者抑制大脑的神经活动,从而实现双向交互。脑机接口涉及信息科学、认知科学、材料科学和生命科学等领域,对智能融合、生物医学工程和神经科学产生了越来越重要的影响。

脑机融合是脑机接口技术发展的必然趋势。脑机融合借助脑机接口技术,逐步将大脑的思维、创新能力与机器智能融为一体,实现大脑与大脑(脑 - 脑接口, brain-braininterface , BBI )、大脑与机器之间互相传递信息。脑机融合的目标是令大脑与机器两者互相适应、协同工作,生物脑的感认知能力与机器的计算能力完美结合,生物和机器在信息感知、信息处理、决策判断,甚至记忆、意图多个层次相互配合( Wuetal. , 2014 )。脑机融合系统的实现与发展均与脑机接口紧密关联。脑机接口为人脑和外部设备之间的通信提供了桥梁,使得大脑与机器可以进行更紧密、自然的交互。脑机融合在人脑和外部设备通信的基础上更注重人脑和机器之间的协同作用,旨在实现人脑与机器的紧密结合。目前,脑机接口和脑机融合技术主要应用于神经/精神类监测与诊疗等医疗康复领域。

除了脑机融合,涉及人类与机器之间不同融合关系的概念还有人机混合和人机融合,这些概念在一定程度上存在交叉和相互关联,但它们的重点和方法不同,需要加以区分和理解。相对于脑机融合,人机混合更侧重于将机器技术与人类生物体相结合,实现人机一体化,从而使人类获得超越自身生理能力的增强( Demartini , 2015 )。人机混合的形式可以是物理上的融合,例如使用外骨骼或生物植入物来增强人体功能;也可以是虚拟上的融合,例如使用增强现实或虚拟现实技术与人类感知系统交互。“人机混合”和“人机融合”这两个术语可能在不同的上下文中使用,其具体含义可能会有所重叠,因此,需要根据具体情境理解它们的具体含义。相对于脑机融合强调人脑与机器之间的协同工作,人机融合则广泛地描述了人类与机器之间的融合和协同作用,不仅涉及脑机接口技术,还包括其他形式的人机交互和系统。人机融合的目标是将人类的能力和机器的能力融合在一起,提高人类的认知、判断和决策的能力( Yinetal. , 2015 ),同时提升机器的智能水平和适应性,主要用于机器人、智能家居和工业自动化等领域。虽然人机混合、人机融合和脑机融合都涉及人与机器的融合,但它们的重点和方式有所不同。脑机融合可以看作人机混合/人机融合的一种具体的融合方式,其中大脑是人类与机器进行融合的核心。

根据采集脑信号的不同方式,目前脑机接口技术主要分为侵入式和非侵入式。侵入式 BMI 技术主要使用微电极直接获取脑内神经元活动信号,拥有时空分辨率高等优点。 2021 年 4 月,美国Neuralink 公司表示已成功使用侵入式 BMI 使猴子可以用“意念控制”玩游戏。浙江大学 2020 年初实现国内首例临床侵入式 BMI 意念控制机械手 3D 运动,并于 2021 年进一步完成了国内首例基于闭环 BMI 神经刺激器( epilcure )植入手术,在难治性癫痫诊治领域取得重要突破。非侵入式 BMI 技术无须植入微电极,而直接采集头皮的脑电信号,具备无创、安全等优点。 2019 年 6 月,卡内基 - 梅隆大学等的研究人员开发了第一个非侵入式、意念控制连续追踪电脑光标的机械臂。 2021 年 9 月,清华大学和北京邮电大学发布了“神聊”系统,构建了多层网络架构构建的分布式系统,可支持 20 人同时在线进行“意念聊天”。

侵入式 BMI 技术主要应用于医疗领域,最有可能率先落地并带来市场效益的是神经假体、神经调控相关的技术和产品。神经假体 BMI 技术在国内外都已进入临床阶段,可以针对瘫痪、失语和失明患者做功能替代或重建,例如视觉假体( Weiland& Humayun , 2008 )。神经调控 BMI 技术对记忆丧失、中重度抑郁、精神分裂等病症来说,比药物治疗更为精确高效(Scangosetal., 2021 ;Cashetal.,2021 )。非侵入式 BMI 技术可应用在更广阔的生活生产领域,如运动康复、控制电器、识别情绪个性化推荐、感知情绪进行预警等(吕宝粮等,2021 ; Liuetal., 2022 ;李锦瑶等,2021 )。 BMI 已成为全球科技前沿热点,世界主要国家和地区都在加快 BMI 产业布局。 2021 年,我国正式启动科技创新 2030-“脑科学与类脑研究”重大项目,其中,“类脑计算与脑机智能技术及应用”是五大重点任务之一。

脑机接口和脑机融合技术是一种新型的感知技术,它通过直接捕捉大脑信号实现对计算机、机器人、假肢等外部设备的控制(高上凯,2019 )。与传统的感知方法相比,脑机接口和脑机融合技术在数据来源、处理方法、信号精度、应用场景等方面存在区别。首先,在数据来源方面,传统感知方法通过传感器(如摄像头、声音传感器、智能手机等)获取诸多环境信息与人的肢体运动、面部表情、行为活动、生理信号等信息,而脑机接口和脑机融合则是从大脑中获取人的脑活动信号。在处理方法方面,传统感知方法通常需要人的肢体运动或者其他主动操作来触发传感器产生反馈,而脑机接口和脑机融合可以实现无需肢体运动或其他主动操作的人机交互方式。在信号精度方面,相对于传统的感知方法,脑机接口和脑机融合通过直接获取脑信号,可以更加准确地捕捉用户的意图,也可以实现更加精细的控制,例如思考某一个字母等。在应用场景方面,传统感知方法广泛应用于环境感知、人机交互、健康监测等方面,脑机接口和脑机融合则主要应用于神经/精神类监测与诊疗等医疗康复领域。

目前,用于传统感知方法的各项技术已经比较成熟,而脑机接口和脑机融合技术仍存在一些局限性,例如非侵入式脑机接口获取的数据质量难以保证,侵入式脑机接口技术也存在一定的风险和限制等。

作为一门新兴的技术,脑机接口和脑机融合使得大脑与外部设备可以直接进行双向交互,极大地改善了人类与计算机系统等外部设备之间的交互方式,有望成为未来人机交互的重要方式之一。这种交互方式有许多优势,主要包括以下几点。

(1)更加自然的交互。通过脑机接口和脑机融合技术,可以模拟人类自然的交互方式,例如思考、想象、视觉化等,实现人类最基本的沟通方式———思维交流。人们可以直接用大脑控制设备,不需要依赖键盘、鼠标、肢体动作等其他外在输入手段,使得人与外部设备及人与人之间的交互更加自然和人性化,甚至实现两个大脑之间的直接信息交换。

(2)更加高效的交互。脑机接口和脑机融合技术可以直接解码大脑信号,人们不再通过键盘、鼠标、手势、语音等外在手段来输入指令,从而避免了传统输入方式的局限性。因此,人们可以快速完成各种任务,例如脑控机器人、浏览网页等,相比传统的交互方式,脑机接口和脑机融合技术可以大幅提升交互的效率。

(3)更加智能的交互。脑机接口和脑机融合技术可以帮助人们将计算技术与人类智能相结合,可以让 AI 系统更加智能地识别人类的需求和意图,实现大脑与机器之间的智能交互,进而为人们提供更加个性化和针对性的服务。同时,脑机接口和脑机融合技术可以帮助人们更好地理解和控制自己的大脑活动,利于提高学习能力、记忆力和专注力等。此外,还可以帮助神经科学家研究人脑的结构和功能,以便更好地理解大脑的工作方式和疾病机理,促进神经科学的研究和医疗科技的发展。

(4)更加普适的交互。脑机接口和脑机融合技术通过解码大脑信号直接与外部设备进行交互,不再依赖于肢体、语言、外部设备等传统输入方式,拓展了交互方式的可能性与普适性,使得人们可以灵活自如地与周围环境和他人进行交互。例如,此交互方式极大地方便了身体残疾或者运动能力受限而无法使用传统交互方式的人们,例如瘫痪者、脊髓损伤者等,他们可通过“意念”与外部设备进行交互。类似地,此交互方式可以帮助语言和文化差异较大的人进行交互,打破了文化和语言的局限性,提高了交互的灵活性和普适性。

(5)更加安全的交互。脑机接口和脑机融合技术在使用过程中仅记录和解码大脑活动,可以使用生物识别技术进行身份验证等,提高了交互的安全性,可以防止身份欺骗和其他安全问题。同时,用户的个人信息不会通过传统输入方式泄露,从而保障了用户的隐私安全。

本节将介绍脑机接口技术框架以及各部分组成。脑机接口技术致力于在脑与外部环境之间建立一种新型的信息交流与控制通道,是一个双向交互技术,它主要包含三方面:(1)信息获取技术,即将脑信息“读出来”;(2)脑信号编解码技术,包括编码层和解码层,先对刺激或者运动信息所对应的脑内神经活动进行编码,然后通过计算方法将脑信号解码成可理解的意图(如运动、语音)、信息(如视觉、听觉)或状态(如疲劳)信号;(3)反馈与干预技术,即将外部信息或指令“写进去”。具体见图 22. 1 。借助以上三方面的数据,生物脑(生物智能)将与机器脑(人工智能)深入融合并协同工作,从而实现更高层次的脑机融合智能。

脑信息获取技术旨在利用脑信号采集设备从大脑中获取有用的信息。根据脑信号采集方式的不同,信息获取技术主要分为侵入式和非侵入式两种,以获得不同的脑电信号,见图 22.2 。

侵入式信息获取技术通过脑外科手术将电极或芯片植入大脑,从脑内直接获取神经元活动信号。

常见的有皮层脑电图(electrocorticography , ECoG )和脑深部神经信号检测。 ECoG 是一种将电极放置在大脑皮层表面的技术,能够记录神经元集群活动引起的电位波动的技术。脑深部神经信号检测需要通过神经外科手术将采集电极植入大脑内部,可获得单个神经元的信号(spike )。侵入式信息获取技术能够记录毫秒级、微伏级的神经元动作电位,具有更高的空间分辨率和时间分辨率,并且大大减少了诸如肌肉活动和环境等带来的噪声影响,从而具有更高的信噪比,但其植入过程具有手术风险。

非侵入式信息采集技术则采用无创的脑信号检测手段,在头皮表面或附近采集脑信号。常见技术包括脑电图(electroencephalogram , EEG )、脑磁图( magnetoencephalography , MEG )、功能性磁共振成 像 (functionalmagneticresonanceimaging , fMRI )和功能性近红外成像 ( functionalnear-infraredspectroscopy , fNIRS )。 EEG 通过将电极放置于头皮处,记录脑内活动产生的电压波动。它的时间分辨率较好,但由于大脑信号源与电极之间夹杂头皮、颅骨、脑脊液等不同的分层组织,因此导致空间分辨率较低。 MEG 利用超导量子干涉仪来测量大脑电活动产生的磁场,同样具有较高的时间分辨率,且空间分辨率比 EEG 更好,但系统更加昂贵、庞大,并且需要专用的电磁屏蔽室。 fMRI 通过检测大脑中血流量变化来间接测量大脑中的神经元活动,它具有比其他非侵入式技术高得多的空间分辨率,但时间分辨率较低。 fNIRS 则是一种用于测量大脑中神经元活动引起的血氧水平变化的光学技术,它比 fMRI 更便携,但空间分辨率更低。非侵入式信息获取技术由于容易受到头皮、骨骼、肌肉活动以及环境的影响,因此具有更低的信噪比,但其采集过程安全、方便,因此被广泛使用。

脑信息编解码技术旨在解释外在刺激或运动信息是如何被神经元活动表征的(编码),从而通过大脑活动对刺激进行解析和预测(解码)。

脑信息编码旨在建立神经元对运动信息和刺激的表征模型。由于神经元发放模式的复杂性与多变性,建立这种表征模型并非易事。神经元对于信息的表征是一串复杂的离散时间发放序列,而序列中对信息的编码有可能存在于发放的时间、频率等多方面。神经信息编码方面可能基于单个神经元,也可能基于特定的神经元集群活动,即集成编码。通常来说,由于神经元固有动态特性的存在,基于单个神经元的信息编码稳定性差,而采用一组神经元进行编码具有更高的稳定性和准确性。

已发现的大脑神经编码形式包括运动编码和刺激范式编码。运动编码是一种基于调谐曲线的编码模型。早期研究者发现大脑皮层运动区与手臂运动方向具有调谐关系。神经元的放电频率会随着运动方向的改变而产生有序变化。这种基于调谐曲线的运动编码模型是侵入式运动脑机接口解码的重要基础。刺激范式编码建立在“刺激范式不同,脑内信息表达也不同”这一前提之上,包括视觉刺激编码、听觉刺激编码和触觉刺激编码等。以视觉刺激为例,常见的视觉刺激属性有亮度、颜色及闪烁频率等,不同属性的视觉刺激会诱发不同特性的视觉诱发电位。刺激序列的产生方式不同(调制方式不同),得到的视觉诱发电位也不相同。一般可将视觉诱发电位的刺激范式分为时间编码调制、频率编码调制、伪随机编码调制等。

脑信息解码旨在对采集到的脑信号进行处理,运用各种信号处理和机器学习算法获取脑信号与大脑活动之间的关系,其主要过程包括预处理、特征提取和基于机器学习方法的分类回归等。为了提高大脑信号的质量及突出信号的特征,需要对数据进行预处理。脑信号中常包含很多无用的信号组分、工频干扰、眼电和肌电伪迹等,在预处理阶段可以通过不同的方法,如时域滤波和空域滤波,剔除伪迹,提高信噪比。在预处理后,通常根据特定的脑机接口、实验范式和神经信号来提取特征,可采用时域、频域、空间域方法或相结合的方法。不同的脑机接口和不同的实验范式将会采用不同的方法来提取所需的特征。提取到可分性好的脑信号特征之后,可以采用先进的模式识别或机器学习算法训练分类模型,解析大脑信号特征。这些特征可以用于实现大脑控制外部设备的意图,或者帮助临床医生检测对命令或功能通信的响应。传统的脑信号机器学习技术包括线性判别分析( LDA )、支持向量机(SVM )、人工神经网络( ANN )等。

反馈与干预技术旨在借助自然感官刺激(视觉、听觉、触觉等)、电刺激、光基因技术(optogenetics )、磁刺激等实现对大脑的信息输入和功能调控。

自然感官刺激是最直观、最常用的神经反馈方式。脑机接口的机器输出信息可以直接转换为视觉、听觉等感官刺激“输入”大脑,让用户能够根据反馈的信息调节脑活动,从而完成特定的任务或减弱疾病相关的脑活动特征。持续准确的自然感官刺激能够使用户有针对性地调整自身的大脑功能,从而提高脑机交互系统的性能。

经颅电刺激 (transcranialelectricalstimulation , TES )/经 颅 磁 刺 激 ( transcranial magneticstimulation , TMS )是非侵入式的脑功能调控技术。 TES 利用头皮表面电极产生的毫安级低强度电流刺激大脑,而 TMS 利用磁线圈产生短暂的高强度磁场穿透颅骨,将特定电磁信息作用于大脑局部区域,以调节皮层神经元的活动和代谢。这两项技术广泛应用于临床研究中,包含脑损伤的康复、情绪调节、神经障碍、增强认知、急性和慢性疼痛缓解等领域。

皮层内微刺激技术(intracorticalmicrostimulation , ICMS )是一种直接将微量电流输入大脑进行调控的神经刺激方式。相比于 TES / TMS , ICMS 更精确、更有针对性。不同的刺激参数,如电流强度、频率、脉冲宽度、持续时间等将会对刺激区域产生特定影响。 ICMS 普遍应用于大脑皮层代表区定位、癫痫灶点定位、感觉反馈等领域,已经成为研究大脑神经回路功能的重要工具,也是脑机接口的重要组成部分。

光基因技术通过将特定光感基因转入神经元进行离子通道表达。不同光感离子通道在不同波长的光照刺激下会分别对阳离子和阴离子通道产生选择性开发,造成神经元膜电位变化,兴奋或抑制神经元活动。光基因技术能够实现对记忆等感认知功能及运动功能的调控,以及癫痫等脑疾病的干预。

红外神经刺激技术(infraredneuralstimulation , INS )是一种直接的神经元光刺激方法,利用短暂的近红外光脉冲使神经元膜去极化以产生动作电位。近红外光可直接作用于不同类型的神经细胞,实现对神经活动的激活或抑制。与 ICMS 相比,INS 具有高空间分辨率的优势,可以实现单个功能柱的激活;与光遗传学等其他光学调控手段相比,INS 无须化学或基因修饰,是一种较为安全可逆的新型神经调控手段。