多模态信息融合的脑机接口与人机交互技术.pdf

1、多模态信息融合的脑-机接口与人机交互技术目 录脑机接口技术正在从科幻走向现实n 将计算机和人类大脑连接起来，实现人与机器的无缝交互。2014年巴西瘫痪少年用脑电控制外骨骼机器人站起来,为世界杯开球Nature 442,164171(2006)脑机接口技术能为生活带来哪些惊喜：帮助残障人士进行康复，提高生活质量；增强人体机能增强；危险场所作业，通过脑机接口实现机器人在人无法进入的场合工作；作业疲劳检测，工作或学习的注意力评估；娱乐游戏中，人们可以借助脑机接口，更好地对游戏角色进行操控，提升游戏的体验感；通过脑机接口技术直接与计算机进行交互，实现更加智能化的工作方式，提高工作效率。脑机接口技术正在

2、从科幻走向现实n 马斯克旗下的脑机接口公司 Neuralink，获准进行脑机接口人体试验，这被视为脑机接口迈向商业化应用的里程碑。脑机接口AI机器人宇宙探索遥控机器人反馈机器人感觉脑机接口助力和谐的人机交互n 不同领域的人机交互，但人机交互需要安全和谐医疗医疗康复康复Medicine工业工业农业农业Produce居家生活居家生活军事军事 国防国防LifeEEGEMGPositioningAccelerationCCDDe-noisingSignal analysisFeature classificationOperators intention can be sent to the robo

3、t through the commands.Robots receive human intentions.多模态信息融合的脑-机接口脑电（EEG）和肌电（EMG）信号是人的意图的直接表现n 机器人需要明白人的意图n 人需要知道机器人的行为意图如何描述人的意图?n 脑是人的智能中心n 人的行为是由神经控制的，EEG和EMG是神经传导的外在表现TED.comEEG 和 EMG 描述人的意图EEGEMGn EEG 是大脑神经电活动的外在表现n EMG 是肌肉电信号的外在表现人脑如何感知机器人的状态？人能感受到机器人的痛苦吗？Yutaka Suzuki,et al.,Measuring empat

4、hy for human and robot hand pain using electroencephalography,Nature,2015,5:1-9人对自身受伤人对自身受伤的疼痛感的疼痛感人对机器人受伤人对机器人受伤的疼痛感的疼痛感EEG特征人类和机器人在同理心方面的差异脑-机接口脑机接口(BCI)指在人或动物大脑与外部设备之间建立的直接连接，实现脑与设备的信息交换。n 大脑皮层n 动作电位n 动作电位From University of Minnesota n Microwire arrays of 100 electrodesBlackrock Microsystemsn 植入脑

5、电极采集的脑电信号Wang H et al.NeuroReport,1996Nature,2002v 2006年电极被植入受试者脑内；v 受试者可用脑电波控制机械手臂、控制电脑鼠标收发e-mail、控制开关电灯和电视等。Hochberg LR et al.Nature 442,164171(2006)0.5-4.04.0-8.08.0-13.013.0-30.030.0我们实验室Square of the voltage to imagine the left/right hand movementn 4 个EEG 电极置于脑运动区表面想象左手运动想象右手运动我们实验室n 基于机器学习算法进行

6、分类我们实验室把EEG特征分为学习特征和决策特征，形成知识来建立基于EEG特征的人工智能专家系统的数学模型。非学习的非学习的自然放松状态自然放松状态通过视觉感知的通过视觉感知的学习过程学习过程Zhang C,Wang H*et al.,Integrated Computer-Aided Engineering,2013,20(4):391-405 脑电（脑电（EEGEEG）特征）特征 隐形知识隐形知识东北大学研制的脑控无人机系统 我们实验室Tianwei Shi,Hong Wang*,Chi Zhang,Exper