康乃尔大学团队开发全新声纳眼镜,无声动动嘴形就能解锁手机、播放音乐

康乃尔大学团队开发全新声纳眼镜,无声动动嘴形就能解锁手机、播放音乐

不久的未来,可看到智慧眼镜将成为继智慧手机之后最重要的个人运算平台。为了加速这一天到来,各大厂商莫不卯足全力寻求各种与 AR 智慧眼技术突破。康乃尔大学(Cornell University)博士生 Ruidong Zhang 开发全新声纳眼镜(Sonar Glasses),透过装置麦克风及喇叭,能辨识并读取使用者“无声”念出某个字或指令的嘴形,使用者只需动动嘴就能解锁手机、播放音乐,甚至操控 CAD 绘图软件。

康乃尔大学研究团队曾执行类似专案,但之前专案基于采用无线耳塞与摄影机的模型。专案就像多数无声语音辨识(Silent-Speech Recognition)技术,会采用一组预选命令,并要求使用者面对或戴着摄影机,设计的装置既不可行也不实用。

全新声纳眼镜虽然是基于大学研究团队之前专案打造,但使用者既不需面对镜头,也不需在耳朵里塞东西。只需读取几分钟训练资料(如一串数字),就可让系统学习并建立使用者语音模型。系统会发送和接收音波至使用者脸部,感测嘴形动作,同时透过深度演算法即时分析回声曲线属性,整体准确率可达约 95%。

所有资料会传送到使用者智慧手机处理,而不会传到云端,消除泄漏隐私疑虑,同时确保眼镜整体体积更精巧。最新版声纳眼镜功耗极低,可为音学感测提供约 10 小时电池续航力。

实际应用,使用者不需动手、只需动动嘴就可操控应用,包括图书馆等安静环境,透过下达无声指令给眼镜以播放、暂停、前/下一首及音量控制音乐。抑或在嘈杂环境无声录制语音备忘录。使用者还能无声念出密码解锁手机,甚至不用键盘就能用 CAD 绘图软件尽情作业。对有语音障碍的人,可无声透过眼镜将对话输入语音合成器,再由合成器大声说话,与任何人沟通。

康乃尔大学未来互动智慧电脑介面(SciFi)实验室研究团队正透过康乃尔资助计划全面推动技术商业化。团队也投入运用智慧眼镜关注脸部、眼睛及上半身动作等相关应用研究。

  • Researchers built sonar glasses that track facial movements for silent communication

(首图来源:影片截图)

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。