中大与日财团推网游「手语村」
2021-09-23 05:30
(星岛日报报道)以往的手语自动识别技术需要配合特殊装置,才能识别聋人打手语时的表情或嘴形,但如今有新突破,中文大学联同Google、日本财团以及关西学院大学合作研发更精细的手语自动识别技术,推出首个结合人工智能和手语语言学的多语言网络游戏「手语村」。「手语村」一方面能让健听人士接触手语,另一方面可收集更多数据,训练系统识别更多手语的打法。团队期望最终能发展Google手语翻译。
中大语言学及现代手语及聋人研究中心联同Google和日本财团,以及关西学院大学合作研发线上游戏「手语村」,让玩家学习日本或香港手语,两个语言各有三个场景,每个场景有十二个手语让玩家试玩,玩家可以跟著影片示范打手语,系统就能识别他们的动作是否正确。以往需要带上特殊3D镜头,和带有传感器的手套才能识别手语,这个游戏突破以往限制,采用了Google的模型,包括侦测肢体动作、面部表情以及手部动作的系统,只需要普通镜头加上人工智能就能分辨不同手语。协助开发游戏的中大手语及聋人研究中心助理电脑主任郑家耀表示,现在的技术已能识别动作类似的手语。
郑家耀表示,系统收集数据时,一个手语需要收集一百个不同打法;他解释,每个人打手语的习惯都不同,有些手语打法类似,依靠口形及面部表情分辨不同意思;有些手语对口形要求不大,则着重手部动作。他表示,手语没有一个标准答案,因此需要收集足够数据分析不同打法。玩家在打完一个手语后,游戏会询问玩家是否在打该手语,从而让系统辨别不同打法。团队期望游戏将来能加入更多场景和手语词汇,长远希望和Google继续合作,研发手语Google翻译。
關鍵字
最新回应