AI 耳机靠脸部肌肉轮廓“偷窥”表情，戴口罩也遮不住辨识准确率达 88%
▼
当你用耳机听歌时，有人已经开始用它表达情绪了。这听起来有点神奇，不过真的达成了。最近有一款 AI 黑科技 C-Face 耳机，可在虚拟环境传递人的“喜怒哀乐”。
到底怎么传递？先来看效果图。
当你传讯与朋友聊得正嗨，不用辛苦找表情符号，系统就会根据脸部表情自动传送表情符号。
皱个眉头也能一秒辨识，感觉聊天效率都变高了。
功能还不只这个，当你瘫在沙发上听音乐，懒得动却想切歌或暂停，只需隔空说“Stop”或“Next Song”，播放装置就会自动执行。
有网友可能会说，耳机的语音唤醒功能早不新鲜了，但 C-Face 并不是采用语音辨识技术，用户只需动动嘴唇，无需发声，系统就能自动辨识。
看到这里，细心的网友可能已发现，不论情绪辨识和语音唤醒功能都有共同特点，即脸部肌肉移动。
C-Face 正是透过关注脸部肌肉的“脸部辨识”技术，辨识情绪或无声语音指令。
“脸部辨识”AI 耳机
提到脸部辨识，大家可能再熟悉不过，很多智慧可穿戴装置都有这项新技术。
但特别的是，C-Face 可说是最方便且功能强大。它没有复杂的感测器装置，也不限于只能辨识部分表情。
这到底是怎么做到的？
C-Face 全称 Contour-Face，是一款耳挂式可穿戴感测装置，有耳塞式和头挂式两种。装置均内建两个微型 RGB 镜头，一种撷取红色、绿色和光谱的数位相机。
当我们脸部出现表情时，会引发脸部肌肉伸缩，从耳朵角度看去，会使脸颊外轮廓产生变化。C-Face 内建的微型相机正是负责记录配戴者脸轮廓变化。
至于效果如何，先看一组 3D 动图。
虽然稍有延迟，但几乎与配戴者唇形和表情一样。
如果戴上口罩呢？毕竟口罩和耳机现在是出门标准打扮。但结果看来并没有影响。
C-Face 能准确辨识脸部表情，是采用电脑视觉和深度学习模型。
微型相机撷取影像后，视觉技术和深度学习模型会重建。重建过程，卷积神经网络进一步将脸部特征转换为 42 个关键点，包括配戴者的嘴巴、眼睛及眉毛位置和形状。
这些关键点将决定脸部情绪的种类。
C-Face 可将关键点辨识分成 8 种表情，如自然、生气、亲吻、大哭等，涵盖愉快、中性及愤怒 3 种类别。另外 8 种表情也用来控制音乐装置的播放选项，如“播放”、“下一首”或“音量增加”。其他用途还可能包括虚拟游戏角色表达情感、帮助老师云端授课时了解学生状态等。
目前，情绪辨识效果已过实际测试。9 位参与者提供的资料，C-Face 的表情辨识准确度超过 88%，无声语音准确度近 85%。
康乃尔大学出品，华裔教授参与研究
C-Face 黑科技产品出自康乃尔大学研究团队，谈起这项研究的初衷，负责人Francois Guimbretiere 表示：
远端上班或学习逐渐成为主流趋势，希望利用最常用的耳挂式装置，协助人们在虚拟环境无障碍交流、合作或表达情感。
从未来智慧互动与电脑介面实验室（SciFi Lab）官网看来，这项研究的论文《C-Face：透过深度学习脸部外框重建表情》，将在 10 月 20~23 日举行的电脑用户介面软件和技术研讨会（UIST2020）发表。
论文作者还包括华裔教授张铖，是康乃尔大学电脑与资讯科学学院助理教授，也是未来互动智慧电脑介面实验室（SciFi Lab）负责人。
张铖的研究方向是智慧感测系统与人机互动（HCI），就是研究如何收集有关人体及周围资讯应用于各领域的现实挑战，如智慧互动、健康感测和活动辨识等。
张铖最先接触此领域是在南开大学和内地科学院读书期间，积累有形用户介面、儿童人机介面、音乐介面等经验。之后进入乔治亚理工学院就读博士，研究十多种不同可穿戴装置的汇入技术，涉及自下而上构建感测系统、物理建模、硬件原型设计、资料及演算法处理等。他已在人机互动和普适计算领域的顶级会议和期刊发表十多篇论文（包括两座最佳论文奖），获得超过 10 项美国和国际专利。
对 C-Face 装置，张铖表示还有局限性，如耳机的电池容量。团队计划开发更低功耗的感测技术，同时也会进行更多实际应用场景测试。
- Earphone tracks facial expressions, even with a face mask
- Cornell researchers created an earphone that can track facial expressions
- Earphone tracks facial expressions, even with a face mask
（本文由 雷锋网 授权转载；首图来源：康乃尔大学）
▼
特别声明 本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。
