IVE毕业生研发手语翻译App

2021-05-17 07:48

IVE毕业生研发手语翻译软件,以手机拍摄手语后,数秒内可转化成文字。 IVE提供
IVE毕业生研发手语翻译软件,以手机拍摄手语后,数秒内可转化成文字。 IVE提供

手语有助听障人士与人沟通,惟不谙手语者则无从解读。香港专业教育学院(IVE)毕业生研发智能电话应用程式「SignChat」,健听者拍摄手语动作后,人工智能(AI)系统可在数秒之间「翻译」手语的文字意思,准确度达七至八成;期望年底前把词汇增至一百组,研究日后在不同场所应用。

只需数秒转成文字

  应用程式由三名IVE软件工程高级文凭毕业生共同研发,成员之一的温子轩在小学曾学习手语,在教师鼓励下,以科技帮助社会有需要人士,遂偕同学在毕业作品研发应用程式SignChat,亦获第六届香港大学生创新及创业大赛三等奖。

  运用SignChat时,手语用家的「最佳距离」为站立在手机镜头前一至两米处,在充足光綫环境下拍摄上半身。

拍摄手语动作时,系统通过立体影像追踪技术,以框綫追踪双手动作,范围更包括手指、手掌和手腕等,约二十个检测点。团队示范「早安你好吗」、「我想吃汉堡包」等手语,不消数秒,系统便能翻译成文字。温子轩建议,打手语时动作要比平常更大,「动作大点,以合适速度做手语,都有助系统翻译。」

  温子轩忆述,历时一年的研发过程中,最困难的是「训练」AI系统,「每个手势要不同人输入数十次,人人速度不一,或有人做错方向,影响系统辨认。」他指完成AI训练后,系统便储存了足够数据,进行深度学习,确保翻译准确。SignChat现时已累积约五十组简单词语及短句,准确度达七至八成。

分析表情增准确度

  指导学生研发应用程式、IVE沙田院校资讯科技系署理高级讲师郭誉豪称,AI辨认准确度高,冀学生进一步扩充词库,预计年底前增至一百多组词汇,待系统成熟后,料可于医院应用,方便医护人员与听障人士沟通,促进伤健共融。

团队深明面部表情,亦影响手语意思,故加入表情分析加以改良;郭誉豪强调,收集人脸影像后,可转化成数据,以保障私隐。

《星岛日报》教育版

關鍵字

最新回应

You are currently at: 187235123.xyz
Skip This Ads
close ad
close ad