现代科技中，有哪些面对听障人士友好的设计？
对于听障学生来讲，如果能紧跟老师课堂的节奏、尽快掌握知识该有多么幸福！而Microsoft Translator不仅能将老师的口语转化为实时字幕，还能将翻译的文字结果保存在手机中，帮助学生们轻松学习。 在美国罗切斯特理工学院一堂普通的生物课上，除了有站在讲台上授课的教授，旁边还有负责将教授上课内容翻译为手语的翻译员，以及在课堂大屏幕上显示的实时字幕。坐在台下上课的有不少是有听力障碍的学生。 罗切斯特理工学院有大约1500名听力存在障碍的学生，而其中的大约700名学生会和健听学生一起上课，他们通过综合利用手语翻译员和实时字幕中的信息来掌握课堂知识。而让课堂内容实时以字幕形式呈现的就是来自微软的Microsoft Translator，该系统利用自动语音识别功能将教授原始用口语讲解的内容转化为流畅的、含标点符号的文字。目前，Microsoft Translator能提供60多种语言的实时翻译服务。 现在，微软正在和罗切斯特理工学院九所学院之一的National Technical Institute for the Deaf（NTID）进行合作，通过使用微软的AI语音和语言技术帮助听障学生更好地进行课堂学习。 同时，罗切斯特理工学院的研究人员与微软机器翻译团队合作，共同开发了专门针对课程材料的自定义语言模型，并在课堂上试用添加了这一技术的Presentation Translator。为了建立这些语言模型，研究人员从一些教授近十年来所用的课件演示文稿以及之前通过C-Print技术手动生成的字幕中挖掘了大量的数据资源。进而，在微软认知服务的自定义语音服务（Custom Speech Service）中利用这些数据以构建特定领域单词的发音模型，当说话人再说到这些单词时，系统就能轻松地识别并在实时记录中显示为对应的文本。 不仅如此，Microsoft Translator的实时字幕还能为手语翻译员所翻译的信息做出补充和完善。事实上，手语翻译员有时也会漏掉一些课堂信息，某些科学术语也很难表达，对此，实时字幕则可以很好地进行补充。但手语翻译员也有他们的优点，比如他们可以用一个动作表达很多单词的意思。所以在未来的课堂中，Microsoft Translator并不会取代手语翻译员，而会辅助他们的翻译工作，两者之间相互配合，共同帮助学生更好地学习课堂知识。 除此之外，字幕这种沟通渠道也可以帮助更多普通人获得信息。Microsoft Translator的手机应用程序允许学生保存教师授课的口语转换结果。借助于Microsoft Translator的帮助，不仅听障学生能够更好地参与到课堂教学中，更加连贯、完整地接收课堂知识，更多的健听学生也可以更加轻松、高效地学习。 微软技术院士，负责微软语音、自然语言和机器翻译工作的黄学东表示“语言是驱动人类进步的动力，它增强了人们之间的合作、沟通和学习”。近年来，深度学习的引入使得语音识别技术有了快速的发展。利用技术的不断突破，我们希望可以帮助更多人更好地学习和沟通。 Kinect是微软亚洲研究院和中国科学院共同进行的一个合作项目，希望通过使用Kinect来帮助提升手语的识别率，从而为听力受损的残障人士架起一座与外界沟通的桥梁。 对于听障人士来说，手语是他们与外界沟通最主要的语言。然而，不是每个人都懂得手语，即使是人工手语翻译也是可遇不可求。通过计算机来识别手语，然后进行翻译，听上去是一个很好的想法，但这个想法却还未真正得以实现。正因如此，近些年来研究人员花费了大量时间攻克手语识别领域所存在的挑战。 在这时，一种叫做Kinect的设备进入人们视野。微软亚洲研究院的研究员与中国科学院计算技术研究所的同僚展开合作，对Kinect的肢体追踪功能如何应用于手语识别进行了研究。这项技术让以手语为主要沟通手段的听障人士像使用语音识别一样，与电脑进行更为自然和流畅的互动。 在微软研究院学术合作部的帮助和支持下，这项成果被总结成为论文《基于Kinect的手语识别和翻译》，联合作者为中国科学院柴秀娟、李广、陈熙霖等研究员，以及微软亚洲研究院首席研究员周明。 正因为Kinect能够同时提供深度信息和色彩数据，它让准确、快速追踪手部和肢体动作变得更加容易。 Kinect的使用是一个3-D运动轨迹校准并将手语和单词逐一对应的过程。当一个手语词汇被分析时，这些词语先通过Kinect for Windows SDK的手部动作轨迹生成，然后规范化，继而计算匹配分数，最后识别出最相关的候选。 反过来，3-D轨迹匹配的算法又为构建一个手语识别和翻译的系统创建了基础。这一系统包括两个模式。第一是翻译模式，将手语翻译成文本或者语音，包括对单词或单句的识别。第二是交流模式，通过使用虚拟形象使正常人和听障人士的沟通变成可能。以键盘输入的文本为引导，虚拟形象可以表现出相应的手语。而听障人士通过手语进行回应，系统会将其转换为文本进行回答。 这项研究在视觉信息处理领域具有巨大的价值，同时它也旨在为那些主要依赖手语进行交流的人们提供实际援助。 “我们相信IT应该被用来提升所有人的日常生活质量，”微软亚洲研究院研究项目经理吴国斌说，“希望这项成果在不久的将来能够为听障人士提供一个日常互动工具，在他们和拥有正常听力的人之间架起一座桥梁。” 本账号为微软亚洲研究院的官方知乎账号。本账号立足于计算机领域，特别是人工智能相关的前沿研究，旨在为人工智能的相关研究提供范例，从专业的角度促进公众对人工智能的理解，并为研究人员提供讨论和参与的开放平台，从而共建计算机领域的未来。 微软亚洲研究院的每一位专家都是我们的智囊团，你在这个账号可以阅读到来自计算机科学领域各个不同方向的专家们的见解。请大家不要吝惜手里的“邀请”，让我们在分享中共同进步。 也欢迎大家关注我们的微博和微信 (ID:MSRAsia) 账号，了解更多我们的研究。