◎本报记者 朱 虹  实习生 何雨竹

    近日,黑龙江大学本科生创业团队的参赛项目“传情达意——让机器手语翻译不再冰冷”凭借其独特的创意和系列技术突破,在第十四届“挑战杯”秦创原中国大学生创业计划竞赛中荣获金奖。这个项目研发了全国首个融合面部肌电信号的手语翻译技术和相关AR眼镜设备,不仅让手语被“听到”,还能让声音被“看见”。

    团队通过调研发现,目前助聋设备普及率只有5%,且普遍价格高,适配场景少,准确率较低。为此,团队决定在助聋设备方面做进一步探索。他们历时两年,研发出样品并进行完善,目前已与徐州市特殊教育中心等机构签订购买意向书。

    “我们的创新产品主要由臂环和AR眼镜两部分组成。”项目负责人、黑龙江大学电子工程学院朱铭熙说,臂环通过收集并识别聋哑人做手语时的肌电信号,将其转化为语音,实现了手语的“听觉化”。在这一过程中,电极贴片起到了关键作用。它们能够捕捉肢体动作的细微变化,将其转化为特征向量,与预先建立的手语向量数据库进行比对,从而准确识别出手语的含义。

    然而,仅有臂环的手语识别并不足以达到精准翻译的目标。朱铭熙介绍:“手语中面部表情所占的权重不低于40%,而人的情绪主要通过眉毛和面颊两侧的肌肉来体现。”

    为了提升准确率,团队进一步提升了设备精准捕捉表情、理解情感的能力。他们将电极贴片安装在AR眼镜的引擎上,研发了我国首个融合面部肌电信号的手语翻译技术。当佩戴者因情绪产生微表情的时候,设备就能精准捕捉这些微小的面部表情,并将其转化为特征向量后与数据库中的信息进行比对,从而让手语翻译更加精准。

    同时,团队还扩大了数据吞吐量,实现设备时延小于0.1秒,能实时完成13000余条手语数据的调用。正是基于这些技术,与同类产品相比,团队产品的实时性翻译能力更强,准确度更高。

    朱铭熙团队的成果,不仅让手语被“听到”,还让声音被“看见”。考虑到很多听障人士存在识字困难,朱铭熙团队开发了一个能够显示在AR眼镜上的数字人。当识别到周围有人说话时,文字内容可以直接匹配到数字人的手语动作上。这样,佩戴者就能在AR眼镜上看到数字人打手语,无需识字就能理解对方的意思。

    这一创新为听障人士提供了极大便利,为他们打开了一个全新的交流世界。该技术不仅可以用于个人社交活动,也能作为聋哑学校基础的教学辅助装置。“通过让学生佩戴臂环,我们可以检测他们的手语表达是否标准,中控台可以实时显示结果,让手语教学更直观,也大大降低了教学成本和时间。”朱铭熙介绍。

    目前,2000余位听障人士佩戴了团队研发的产品。河南郑州张哥助残服务平台创始人张继磊试用产品后给予高度评价:“这款产品能够切实帮助聋哑人群,应用市场非常广阔,希望能继续完善,让更多有需要的人受益。”

    目前,团队正在向数据库继续补充手语数据,扩大产品的应用场景。