脑机接口的研究进展到什么程度了？
2023.02.11更新：时光荏苒，一晃四年多过去了。当年是有一个开BCI专栏介绍领域进展的想法的，但随着找工作、写论文、毕业、工作，就这么消磨没了。期间断断续续一直有小朋友私信过来提问题，但一来我一毕业就转行了，二来部分朋友可能不太会提问、导致沟通效率很低，所以特此做一段补充，算是给我的BCI“研究生涯”（大言不惭地）彻底划上句号（但也不好说太死）。 TL;DR: 别问了，已转行，都2023年了你有更多更快更好的渠道可以问。 （除非：1. 你的问题很具体清楚（我能马上知道你在问什么）；2. 与我以下提到过的话题有很强的关联性（我大概率知道答案）;3. 你实在缺乏其他获取信息的渠道（但如果有时效性，比如18年以后的信息也不要问我，真不知道）；4. 你愿意支付我为此付出的时间） 宣传一下我毕业前做的工作。后面由师弟和组里老师一起完善发表，质量挺一般但算是有代表性且偏基础的：A Parallel Multiscale Filter Bank Convolutional Neural Networks for Motor Imagery EEG Classification 。主要贡献：在MI任务公开数据集上 以上是基于第一版第二版草稿的印象总结的，可能后面还有比较详实的填充，如果感兴趣请阅读原文。 我总结了几类私信和评论提问，供你参考。但还是建议找更好的渠道询问，我不一定看、看到也不一定想回答。 BCI作为（即将的）硕士方向，半年前开始接触。本科论文写了个开头，感觉到现在多少知道了一点东西，可以来试着答一答题了。不过BCI也是个不小的领域了，没有进一步的问题补充不晓得该写到多详细（专业），很多问题解释起来比较麻烦。莫非是业内的朋友在钓鱼……不会有钦定的感觉嘛？ 以答主所知尽力一写，诸位看官阅读时自去看感兴趣的部分就好。 限于答主的层次——国内边缘学校的强势专业的边缘方向，并非BCI相关出身的导师，以及答主本人是个渣渣——仅能从部分期刊、会议，网上资料获取信息，写下的答案可能存在较大偏差，还请各位批评指正。 导师两年前开设BCI方向。从无到有艰难搭建环境开始到现在，追踪模仿了国内外一些比较成功的实验，将来希望跟外面合作、做一些实际项目，把已有的技术用到实际操控中去。 实验室只做基于EEG的BCI。 EEG，electroencephalography（至今还没背过这个单词……）又叫脑电图，是一种非侵入式（对人体无损）的脑电采集手段。因其在对人安全、成本相对较低的情况下具有一定的信息传输速率，且比较接近理想中简单、便携的BCI。其他非侵入式手段如fmRI，成本太高；侵入式快则快矣，但毕竟有安全风险。所以EEG是BCI研究的主流方向之一。 EEG做实验的时候长这样： （图片必应自上交机械与动力工程学院） 但EEG的简便只是相对的，套上电极帽后你仍然需要打导电膏（干电极受噪声污染过于严重）。头发在这里倒不是特别要紧。虽然有的团队专门剃光头来做实验，不过这边组里都不很在意，女生也照做不误，对结果影响不很明显。因为导电膏本就可以接触到头皮，而且（更悲伤的故事是）EEG信号的噪声已经够大了，往往不差这点儿头发…… 半年里答主接触了SSVEP和MI两类脑机接口。 VEP（visual evoked potential）视觉诱发电位是大脑视觉区对外源刺激的一类应激反应。其下一般分为SSVEP（稳态视觉诱发电位）和TVEP（暂态视觉诱发），现在还有一种CVEP（c for codebook）。除了SSVEP都不太了解。 SSVEP简单来说就是屏幕上一堆方块以固定频率（一般8-15Hz）闪烁，受试者“选择”——将视线集中在这个方块上，比如以12Hz闪烁的方块，则视觉区收集到的脑电信号中可以识别出12Hz及其谐波，这样控制端就知道，受试者就完成了一次选择。这一“选择”转化为命令操控输出设备，就是BCI的一般用途了。 拼写块示意图。[1]   MI（motor imagery）运动想象是一种自发性脑电信号。截至目前的研究表明，人的脑电信号存在几种节律，其中mu和beta节律被认为与人的运动有关。实际运动的时候可以检测到这两种节律，但即便只是“想象”着运动一下，运动区也可能会产生这两种节律——Excited！因为这回应了最初研发BCI的目的：为无法使用大脑-肌肉通路与外界交流的人提供新的交流通道。巴西世界杯开场时小男孩在“机械盔甲”的帮助下一脚开球，国内报道没有提技术方面的信息。答主认为就是使用该种范式的成果。  老实讲，BCI的业界现状不好说。领域越做越大，综述一出就是一本书。大新闻还是有的。比如一四年某期《科学美国人》上提到华盛顿大学某博士和导师做了个BBI脑脑接口：把两个人连起来，一个人进行脑部活动，检测出的命令直接发给另一个人；而另一个人什么都不想，发送的命令直接传到了肌肉——似乎可以简化为，一个人的脑子控制了另一个人的躯体，西斯空寂。排第一的前辈答主提到的各类高端技术，限于视野了解不多。答主所知最黑的部分包括米国DARPA资助的个别项目，可参考本题目另一个回答中的《植入式设备的军备竞赛》等。 从答主的学习经历出发谈一下业内比较“大众化”的成绩。 对BCI进行性能评价的几种标准中，最常用的是ITRs（information transfer rates，信息传输速率），可以理解为在特定条件下传送命令的快慢程度。一二十年前还只能做到几分钟传一个命令——急得收发双方要憋死——现在更接近实际应用了。 EEG-BCI的几种范式中，目前最快的是SSVEP，其次是结合了P300等的混合BCI（hybrid BCI）。 SSVEP可以快到什么程度？300+bit/min，每分钟大概拼写40个字母[1]。一般人可能不知道，这个速度在我们看来相当可怕，相对之前的数字简直是跨越式的进步，见下图[1]。  成绩虽然突出，SSVEP仍存在很多问题。眼睛盯着闪烁的方块看极易疲劳，对视力不好的尤甚。答主近视，眼睛易干涩，有次做实验前后大概两个多小时，上百次trial，看到最后只觉得昏天黑地……并且这个300+bit/min几乎已经榨干了SSVEP所有的潜力。每次trial的时间为1-1.5s，注视屏幕0.5s/1.0s，休息0.5s/1.0s，想象一下这个强度。虽说实际应用中会有很多余裕，患者们并不需要特别快的拼写速度，然而这篇paper的结果实际上在提醒研究者，ITRs到这里差不多就是极限，脑电几乎不可能做到更快了。当然SSVEP并非自发脑电。说不定哪天就出现人一动动脑、头上的设备立刻能知道想法这等神物呢。（手动滑稽 然后说说MI。二十多年前，MI势头一片大好，当时SSVEP差不多还没怎么登上历史舞台，而MI可以用1.5s的数据以90%+的准确率区分左右手两类信号了[2]。自发的哟！不需要外源刺激的哟！真正的“意识识别”哟！然后就出事了……研究者们发现，MI在受试者之间的表现差别太大了。有的人（30/80）几乎不能用这种范式来发命令[3]。此其一。文献[2]中提出的“共空间模式”（CSP，common spatial pattern）方法成为MI-EEG特征提取的经典方法，直到今天大量的论文依然是CSP·改。但改来改去，准确率依然难以提升，尤其是在电极数较少（比如个位数）、信号质量不高的情况下。文献[2]中的结果很难重现。现在经常是采用了复杂度非常高的方法（CSP·改+精巧的分类器——有人为了做个三分类都惦记到CNN/RNN/DBF上去了你敢信），二分类结果才稳定在了90%左右。此其二。最大的问题是，MI能做到的任务数太少了，而随着任务数增加准确率下降得可怕。由两分类到三（加脚部活动）、四（加舌头活动）分类任务，十多年时间过去了，MI方向依然在苦苦挣扎。四分类的准确率目前只有70%左右，这还是用户训练+数据优化+高复杂度算法+长时间调参的结果。而答主本科毕设和接下来的工作就是在MI上做一点微小的贡献。药丸…… 国外做侵入式BCI的很多，这方面不太了解。仍然是EEG-BCI，比较著名的研究机构包括：奥地利Graz技术大学的BCI实验室，德国柏林工业大学的BBCI、Tübingen大学等是BCI事业的一批先行者，早期做出了一系列开创性的成果，几次国际会议和国际竞赛都由他们承办；米国的Wadsworth研究中心做BCI在医疗上的研究，开发的开源平台BCI2000在业内首屈一指；加州大学圣地压狗哦不圣地亚戈分校的SCCN集中了不少该领域的专家，开发了完善、强大的脑电信号分析工具包EEGLAB；纽约大学、华盛顿大学也都有相应课题组。等等。 至于国内，首推清华。清华生医系阵容很强，在BCI上的成绩全世界也排得上号。比如文献[1]的作者陈小刚是清华博士，现在在中国医学科学院&北京协和医学院；并列一作王毅军也是清华博士，现在是中科院半导体所博导、SCCN的合作科学家，在清华期间就与同学多次在国际BCI竞赛上拿过第一。更别提早些年的业内大佬高上凯、高小榕教授了。答主认为更重要的是，清华的研究团队非常完整。BCI是非常前沿的交叉学科，涵盖信号处理、计算机科学、生物医学、神经信息学、自动控制、认知科学、心理等等，而只有清北等寥寥几个学校有实力组建完整的研究团队。因此这些年积累下来，清华在BCI上的实力答主只能仰望。北大同样有强大的脑科学研究队伍，但似乎不怎么涉及BCI。浙大求是高等研究院。前面说过BCI已经是个很大的领域了，上文之外的大部分内容答主还没接触到。浙大的研究似乎以计算机科学为基础，从AI的角度切入BCI。华南理工自动化学院的李远清团队。每年都有论文出，应用居多，可能是国内P300做得最多的实验室之一。国内的BCI小组其实不少。国防科大、上交、天大、电子科大、北理工、重庆大学都有BCI专项实验室，东南、华东理工、东北大学、山东大学、西电等也都出过不少学位论文，但规模上相对就小了。 一点体会：BCI是非常前沿的领域，但发展到现在受基础研究所限（尤其是脑认知科学），短期内很难实用化。如SAO里的潜行设备之类，答主个人保持谨慎乐观，二十年不敢说，基础研究没有突破的情况下，在十年内实现难度非常大。虽说现在相关的商业产品也越来越多，国内似乎不少人想创业搞大新闻（看上去又是想收割一波韭菜……）但真的、真的离大众所想象的实际应用还有非常遥远的距离。哦对了，曾偶入X度“脑控”吧，答主当时比连做了一天SSVEP实验还要懵逼……人的想象力真是一场精彩，答主强烈呼吁全社会关爱精神病患者——“让我们左手右手一个慢动作……”看答主献上一个大大的爱心（比 至于想做BCI应该学什么，几个答案有争议。想在该领域深耕，建议读博，能出国最好，不行去清华也好，原因下面解释。答主是不行了……读完硕士自觉当码农去。 答主根据这半年的学习实践，认为至少应当好好学的有统计学、线性代数（矩阵）、信号处理、机器学习、模式识别等等这几门学科，代码能力也要强。还是举个栗子。SSVEP近十年来最经典的方法是典型相关分析（canonical correlation analysis，CCA）。CCA与其改进版本可以直接实现特征提取+识别的过程。要看懂CCA就需要统计和矩阵方面的姿势。由于理论部分太长和自己太懒，答主至今没去看原文献……类似的还有ICA、PCA等。而MI近二十年来最经典的方法就是前面提到的CSP，同样需要一定的数学功底。其实并不是看不看懂的问题，重要的是这些方法要了解、知道，连了解都谈不上怎么知道问题在哪、应该如何改进？涉及的学科嘛，主要是信号处理、模式识别、机器学习这几种。更根本的脑科学、神经信息学、认知科学之类，答主觉得还是选修吧，这取决于你将来到底要做什么。大家做脑电并不都是因为BCI出身，有人原来是做信号分析的，有人是做数据科学的，这样做BCI只是为了应用（毕设）。答主当然知道神经生理学才是BCI的基础，但要求人先去学生物，这也是不客观。 一激动写了近4000字，感觉自己萌萌哒。答主于BCI所知恐怕连皮毛也算不上，答一个只为抛砖引玉，欢迎业内前辈们批评指正。 [1]Chen X, Wang Y, Nakanishi M, et al. High-speed spelling with a noninvasive brain–computer interface[J]. Proceedings of the National Academy of Sciences, 2015, 112(44): E6058-E6067. [2]Ramoser H, Muller-Gerking J, Pfurtscheller G. Optimal spatial filtering of single trial EEG during imagined hand movement[J]. Rehabilitation Engineering, IEEE Transactions on, 2000, 8(4): 441-446. [3]Blankertz B, Sannelli C, Halder S, et al. Neurophysiological predictor of SMR-based BCI performance[J]. Neuroimage, 2010, 51(4): 1303-1309.