脑机接口的研究进展到什么程度了？
Any sufficiently advanced technology is indistinguishable from magic. （任何充分发展的科技，都与魔法无异） ------Sir Arthur Charles Clarke  已将回答重新整理并发到 知乎专栏 ，进一步的更新和对评论中问题的解答也会移至这里，请移步。尤其是回复请回复到 知乎专栏 ，我会在那里添加由大家的回复衍生出新想法。感谢大家的支持，评论中真的提出了很多好问题。 从定义上说，脑机接口（Brain Machine Interface）就是研究如何用神经信号与外部机械直接交互的技术。就像开高达或者黑客帝国，属于传统意义上的黑科技。我从大学本科（07年）至今一直在这个领域。本文将从个人研究经历，领域现状（简略），以及一些常见或有趣的相关问题这三个方面简述一下脑机接口的研究进展。  第一部分：研究经历 1：浙江大学时期（07-11）。本科阶段我做的研究是在郑筱祥老师的求是高等研究院，当时是国内顶尖的脑机接口研究机构（之所以说“当时”，并不是表示现在不是顶级，只表示现在我不在国内，不够了解）。当时的研究方向主要有 a）大鼠压杆实验，脱胎于SUNY Downstate的John Chapin实验（ Department of Physiology and Pharmacology ），后来我到SUNY的时候他已经不招学生了，这是后话。这也是我本科阶段的研究内容，在解码器前面做了一个分类器，能显著提高解码精度。不过这个不重要，大鼠压杆实验本身太过简单，不能体现脑机接口的黑科技之处。b）大鼠携带背包电极，无线控制大鼠走迷宫。c）人脑EEG打字 2：卡耐基梅隆时期（12-14）。这个时期刚好是Pitts的 Andrew Schwartz搞大新闻的时候，四肢瘫痪病人通过植入式脑机接口控制机械手（ https://www.youtube.com/watch?v=Z3a5u6djGnE ，相信我，我真的去找了有没有优酷的相关视频，但没有）。当时我的导师就是Schwartz的合作伙伴，不过因为自己是硕士的关系，所以并没有很参与到研究过程中，只是弄了一个Latent Extended Kalman Filter, 是用来处理运动过程中的隐变量，举例说就是被试者的心情，动机或者是生理状态，它们影响神经活动，但跟我们想要的运动控制无关，我就改进了一个模型去滤它们，做了一点微小的贡献。（PS，匹兹堡真是个好地方，远远比纽约好）。 3：NYU&SUNY时期（14-我也不知道啊能早点儿毕业就好了）。大多数我参与的工作还是未完成的，所以虽然一颗赛艇，但并不能透露。之前有个Duke的学长搞的黑科技倒是很好玩。他测了大鼠在被扎手指时初级感觉皮层的兴奋情况，然后通过刺激上级脑区，使得大鼠的初级感觉皮层产生相应的兴奋。换言之，通过神经刺激让大鼠认为自己在被扎手指。如果写到这里能够让读者联想起黑客帝国，就说明我清楚地表达了他的研究。 第二部分：领域现状  首先这只是一个非常简略的介绍。以我的能力（simple）和学术地位（naive）是远远轮不到我来写review的（笑），我还需要学习好几个，以下是正文。  脑机接口主要分为植入式和非植入式两大类。区别在与植入式的更精确，植入式电极相比于头皮贴片而言精确度高的多，可以编码更复杂的命令（比如三维运动）。非植入式的更安全，所以接受程度高很多，如果面向健康人类开发产品，这可能是唯一选择。  各个脑区里研究比较充分的有运动皮层，感觉皮层和视觉皮层。  运动皮层的研究结果相当多。植入式脑机接口在好几年前已经可以做到（以可接受的精确度）控制机械手的三维运动，手腕方向，手指握力。之所以进展很快的原因有很多，比较明显的是以下两点。第一，神经元对运动的编码相对简单，或者说，编码本身可能很复杂，但是我们可以用线性近似来获得足够好的结果，所以降低了研究员的智商阈值，毕竟不需要太高深的数学了嘛（笑）。更重要的一点是，运动有直接对应的可量化的输出（速度，位置等），所以我们能直接那这个输出与神经信号做对比，来确定二者的对应关系。反例是感觉皮层，我们只能研究神经元本身的发放变化，猴子本身是不会告诉我们它自己的感觉如何的，所以对应起来就很麻烦。所以通常情况下我们假设如果外部刺激一致，感觉就是一致的，这也是上文我的学长搞的黑科技时用到的假设。  视觉皮层的研究也很热门。但最广为人知应该是其副产物：卷积神经网络（Convolutional Neural Network，CNN），毕竟经过Alpha Go的大新闻，东亚地区对这个名词有很高的认知度。我不是该领域的专家，只是跟Tai sing Lee（Dr.. Tai Sing Lee's Homepage）上过一年的课，所以只是有模糊的认识。只能说一个让我印象深刻的个例。有一天Taising很兴奋地跟我们说他开会发现了一个大新闻，给我们看了一段视频，内容是医生用微弱电流直接刺激病人的视觉皮层（据Harold Yue提醒，是面部识别区）。没错，我们当时都惊诧了，没想到真的有人愿意这么干。  视频内容：医生一边调电流一边问病人：“你感觉怎么样，看到的东西有没有什么不一样了？”病人没有什么明显不适，很清楚的说：“感觉你有了一点变化，好像不是Dr.某某了，感觉领带歪了一点还是怎么样，说不上来，（以下是我感觉最科幻的部分），like The Terminator。”  至于困扰脑机接口研究小组的问题。由于是一个交叉学科，很多单一学科的进展都是令我们期待的，比如更精确的电极，更明晰的神经科学认识，更强大的机器学习算法，更生物友好的材料等等。其中一个跟科学不那么有关的在于：愿意参与植入性实验的human subjects（求问这个词应该怎么翻译才能不被人骂）太少。所以，假如生活欺骗了你，先别着急自我毁灭，请考虑一下献身科学的可能性（笑）。  第三部分：相关问题  Q：想以后涉及脑机接口，需要哪方面的知识？ A：既然本身是一个交叉学科，那么需要的能力也是来自于各个方面，学生的背景材料学，医学，生物学，计算机，电气工程，物理等等都有。比较明显的区分在于实验室中既有MD＋Ph.D,还有我这种纯粹的Ph.D。  前者负责大部分动物实验以及各种我搞不定的部分，这部分要求的技能我并不清楚，很难给出有效建议；后者（我）负责数据处理模型设计等，这部分要求的核心内容就是：你的机器学习理论水平，以及把你的机器学习算法实现出来的能力。前者在本科阶段最好的锻炼方式之一就是参加数学建模竞赛（当然这跟我本人的经历有关，我上大学时浙大还没有机器学习这门课）。后者基本上就是coding的能力，建议如果是初学者，从matlab入手是一个很好的选择，但是胆子大了之后一定要去试一试其他语言，比如python。毕竟所谓脑机接口，“脑”的部分，即如何把神经冲动翻译成有价值的命令，多数是用matlab完成的，但是“机”的部分，即如何用这些命令控制机械，这里要用到的语言就五花八门了，没必要之前就一一掌握，但是要不害怕去学。多说一句，如果是在国内读的本科，很有可能因为国内工科一开始就要学C并且C的教材过于反智等原因，从而对整个coding产生反感。解决方式如前所述，请从matlab入手，并牢记《银河系漫游指南》封面上大而友善的四个字“不要恐慌”。  Q：脑机接口能不能提高智商？ A：有可能，但是只有少数文章证明，还不具备很强的说服力，在去年有一篇review中也提到这种提高在统计意义上不显著。所以现在的观点是：为了少量提高智商，而在头上开个洞埋上电极并不是那么有必要。还有一点是对于智商本身的检验方法也存在很多争论，现在能被少数文章证明的只是可以提高短时记忆力（因为这个最容易测量）。  Q：快来拿我做实验吧怎么样都行 A：请吃顿好的，然后私信联系。这是玩笑，实验的安全性是可以保证的，毕竟现在植入式的人类实验也已经开展了好几年，虽然多数是在瘫痪病人身上，控制的效果如前所述，用机械手完成简单的移动，抓握动作完全没有问题，但是太精细的的动作做不到，比如用机械手指剥香蕉撕包装袋之类的。并不是说我们不能解码复杂动作，而是这种动作本身对于只有视觉反馈的人而言太困难，可以想象一下如果人没有触觉，仅凭视觉去剥香蕉拧开饮料瓶是有多难。市场化的主要障碍主要是是机械手的价格过于贵，无法被医保覆盖。这是我导师的观点，毕竟实验室的机械手是从NASA批发的，五十万美元一个，对于普通病人确实过于贵（我还很荣幸的把它弄坏并重新修复过一次）。  Q：弄坏了50万美元的仪器是一种什么体验？ A：回复评论中的问题引发了新的值得回复的评论，这是开始递归了吗。先说结论：感觉好棒好棒的，现在已经有信心去弄坏百万美元级别的仪器了。具体过程是这样的。某日，我正在用ROS（Robot Operating System）调式机械手。忽然砰地一声脆响，好像飞出了什么东西，机械手弯到了一个非常诡异的角度，停住不动。比较幸运的是当时猴子并没有在现场做实验，否则机械手的惨状可能会对大圣造成不可磨灭的心理阴影。我把机械手复位之后发现有半截钢缆（cable）松脱并暴露在外（没错，飞出的是另外半截钢缆）。   当时并没有恐慌的感觉，只是有点沮丧可能很久不能做实验了吧，应该要报修等厂家派人过来之类的。于是我就回到主实验室，找到我的同事兼好友Jack（一个身高180+阳光帅气执行力强大有男友的男生）吐槽：“机械手缆线断了好不爽，怎么报修啊，要跟Joe（我们导师）说一声吧。” Jack：“告诉Joe干嘛，你修修不就得了。” 我内心活动：（我一个写算法的怎么就让我修仪器了呢？咱还是另请高明吧。）实际上故作淡定：“等会儿你说啥？” Jack：“修修不就得了，需要帮忙吗？” 我：“当然，谢” 修了一个半下午，顺利搞定。 我：“我去，我们居然修好了。” Jack：“yeah，want some beer？” 我：“Definitely。对了Jack，你本科啥专业来着？” Jack：“Mechanical Engineering” 于是直到一切恢复原状，我们导师才知道这个机械手坏过一次。 Q：让盲人看见世界的仪器有在研发吗？ A: 之所以没有把这个问题放在脑机接口的视觉皮层研究进展中，是因为二者的研究路径不一样。脑机接口是研究接收到一个视觉刺激后，大脑的反应规律是什么。如何根据大脑的反应规律重构该视觉刺激（visual reconstruction）等等。而解决本问题的方法则是Artificial Visual System（https://www.nidek-intl.com/visual_prosthesis/about/type.html）。原理就是把光转变为电信号直接刺激视网膜，进而产生视觉。比较重要的是患者需要已经有视觉这一概念，这种人工视觉才能比较顺利的产生。换言之，让盲人看见世界的仪器不知道研发的怎么样了。让盲人重新看见世界的仪器研发的很好。  最后用一句当年我在《科学美国人》上看到的话来结尾：  “我们所想象的一切，都将变为现实。”   时隔六年，2022年的更新 六年过去，我们所想象的一切，究竟有没有变为现实？ 上一次更新这个答案是2016年5月，六年之后，脑机接口作为一个快速发展的新兴领域，在最近6年自然是无论在工业界还是在学术界都有了惊人的进展。所以作为本问题的最高赞回答，也应该继续更新，使得此回答在2022年仍然具有最高赞的价值。与原先的答案结构类似，这次更新仍然从个人角度和全局角度两方面来介绍脑机接口在工业界和学术界的主要进展。 第一部分：个人研究经历 （2016~2022） 首先，我没转行，这至少在一个样本上证明了脑机接口是一个有吸引力的方向。不过我在博士毕业之后没有继续留在学术圈，而是进入了工业界做医疗用脑接机口。鉴于此，个人经历也将分为2016~2020年的博士阶段和2020~2022年的工作阶段。 1.1 能同时进行运动控制和情绪解码脑机接口 （2016~2020） 神经信号是很复杂的，这句听起来像是废话，但确实指出了脑机接口领域的核心问题之一：神经信号包罗万象，被试的情绪，运动，视听等等信息都包含在神经信号中，我们如何才能从中选出只跟当前任务相关的那部分？比如，对于一个特定的脑机接口任务，最常见的像脑控机械手或者脑控鼠标，只有控制运动的神经信号是我们想要的，如何滤掉别的无关神经信号，控制神经元不要乱想呢？这就是我在博士阶段的试图结局的问题。 以上问题的常见解决方式是只用初级运动皮层的神经元，顾名思义，这部分神经元应该和运动控制高度相关。话是没错，但问题就在于这部分神经元不止和运动控制相关，这“”不止“”二字带来的影响使得运动控制很难做到长期稳定快速准确。总是，之前的方法大概相当于发明调速器之前的蒸汽机，这是伟大的科技进步，但不是有意义的工程项目。 当然，我并没有做到完全解决这个问题，只是迈进了一小步。我的研究集中于情绪和动机在运动控制脑机接口中的影响。举例来说，在你玩游戏的时候，很冷静的按键和很上头的按同一个键，会不会期待能有不一样的结果呢？我首先是证明了神经元确实有这样一种现象：可以同时表达动机和运动。接下来自然就是设计一个解码器同时将二者解码出来。直觉上很直接，技术细节就不详细介绍了。这个研究的主要应用前景是在元宇宙中，将情绪和运动信号同时解码出来，大脑直接跟虚拟现实互动，才能有效提高用户的浸入感，使得虚拟现实能真正的和3D游戏区别开来。我毕业前夕去过CTRL-labs跟他们讨论过这个想法，大家都很感兴趣，很遗憾当时他们处于被Meta收购完成，正在加入关键时期，不太想在加入Meta前招人，而我因为签证原因，毕业后要马上工作，所以后来来到了波士顿做医用非侵入式脑机接口，而这，就是下面的故事。  1.2 麻醉师们的X光 （2020~2022） 我在博士毕业之后进入工业界研究医用非侵入式脑机接口。相比于侵入式脑机接口，非侵入式脑机接口是工业界大举进军的领域，初创方面，中美两国都有雨后春笋一般的非侵入式脑机接口初创公司。巨头方面，Neuralink的投入和规模都无法和Meta相比。非侵入式脑机接口的应用场景是它能否工业化，商业化的决定性因素。基本上，这个应用场景要能回答一下两个问题：这个需求是不是存在？这个需求是不是只能用脑机接口解决？略为严格地说，目前很多脑机接口公司的应用场景都没有解决以上两个问题，不是为了上脑机接口而强行编出需求，就是脑机接口对需求的满足还比不上头戴设备本身对需求的阻碍。而我加入的团队则找到了一个非常直观的应用场景，简而言之，我们造了一个麻醉师们的X光。 在全身麻醉的手术过程中，麻醉师的主要任务是监测病人的意识水平，病人是否已经醒来，将要醒来，是否疼痛这样，传统方式是监测一些间接的指标，比如呼吸，肌肉运动。而最直接的方式，当然就是“”读脑“”，大脑的神经信号显然包含而且直接反映了意识水平的相关信息，只要有一个足够精确的算法，那么麻醉师直接看就好了。就好像当初骨科医生在没有X光时，可以通过间接手段来确定骨折部位，但肯定没有用X光直接看来的清晰明了，这也就是我说的麻醉师们的X光。这个思路本身来自于哈佛的Emery Brown https://en.wikipedia.org/wiki/Emery_N._Brown 和Patrick Purdon https://en.wikipedia.org/wiki/Patrick_Purdon ，两位教授也是我们公司的创始人，Emery应该算得上麻醉学界的泰斗了。跟他们一起工作获益良多，当年我作为一个刚毕业的博士，他们就能直接委任我做算法负责人，设计产品的核心卖点，更是让我非常荣幸。目前我们的设备正在FDA审批，预计年内会部署在麻省总医院（MGH）内。  第二部分：脑机接口在学界和业界的新进展 这一部分包括的内容非常多，我会慢慢更新。同时由于内容实在太多，我也欢迎各位在评论区中多提出问题，我可以用解答解答问题的形势逐渐添加这一部分内容，正如原答案的不断丰富也是有赖于读者当初的问题一样（不过，请不要再问我自己是不是被脑控了，这个问题让我很难确定提问者是在开玩笑，还是在钓鱼，还是真的需要帮助）。不过简而言之，结合学界和业界的进展，以及我的个人经历，回答一下最开始的问题：六年过去，我们所想象的一切，究竟有没有变为现实？如果只能二选一，那我会回答是。我们的想象变为了现实，即使不全都实现了，也比当初最乐观的估计还要好，以至于我们现在可以去想象更瑰丽更无垠的可能性，并且有足够的信心在下一个六年，十六年，或者六十年里实现它。毕竟，脑机接口可能是人类科技里，第二酷的选项了。