机器人也会拉二胡,手语能翻译成20个字母

  •  
  • 浏览次数: 121
  •  
  • 发表时间:2016-12-30
  • 来源:网络
  • 字体大小:[ ]

会写字的机器人已经不稀奇了,现在,更聪明的机器人还会拉二胡;聋人以往依靠手语与人交流,现在,手语翻译器可以直接把手语翻译成语言文字了。12月28日下午,2016年第十一届东南大学大学生创新创业成果展示会中,东南大学的学霸们展示出最新研发的黑科技,炫酷前卫。

二胡机器人能拉《童年》、《天空之城》

一把黑色的二胡,在一堆按钮和芯片的环绕中,发出“一闪一闪亮晶晶,满天都是小星星”的乐音。12月28日下午,在2016年第十一届东南大学大学生创新创业成果展示会现场,当一只机械手臂挥舞着二胡拉杆来回扯动,并循环播放《小星星》时,围观的人群中发出一阵惊呼,“机器人也能拉二胡啊?”

东大信息科学与工程学院的大三男生徐希庆是二胡机器人的设计者之一。他说,这把二胡能模仿人拉二胡完整的动作,左手拉弓,右手按弦,现在的机器人就是通过电机驱动机械臂和开关控制按键,来控制弓和弦的配合。

“我们会将乐谱从dao ruai mi fa sao la xi dao 的音符进行编码,再通过耳机线向机器人播放音乐,机器人里有音频解码器,每个音符的音波不同,按下dao时,在示波器上会显示震动频率,我们会记录下来进行编码,在编程的时候,通过测量音符震动的峰值,来编辑两个音符之间的转换。”徐希庆说,编码做好后,再与机械臂相连,驱动机械臂,就能演奏出一首曲子。这款机器人,从设计到制作,耗费了1.5个月的时间。

如今,这款机器人,已经能完成拉出《童年》、《天空之城》、《最江南》、《小星星》等四支曲子。

能将20多种手势翻译成汉语拼音

与聋人聊天,不会手语,非常麻烦。但如果聋人做出的手语手势能自动翻译成易懂的语言文字,就能实时交流了。

东大信息科学与工程学院大三学生张天忆和同学们,正在向理想变成现实。现场,他们为大家演示了一款“魔兽手套”。这只黑色手套在每根手指的部位贴着一条传感器,手腕部分,还连接着一只电机。手套的另一端,则是电脑。

当一位同学伸出一只手指时,电脑显示屏上显示出字幕“I”,当手指摆出一个8字造型时,屏幕上显示为字幕“L”,当拇指和食指相连,则显示为“o”。

“目前,聋人手语的30个手势,对应的26个汉语拼音字母和其他字母,我们现在已经能翻译出20多个了。”张天忆说,这款翻译系统的玄妙在于,在手套的表层有5条弯曲的传感器,人每做出一个手势,传感器就会收集信息,生成一串数据,但不同的人,手指弯曲时的参数不同。所以,每个手势弯曲时产生的信息数据,研究团队的同学要收集几百个参数,从中寻找出规律性的信息,并进行配对编码。再做手势时,传感器收集的信息处于这个参数范围内,屏幕上就会生成相应的字母。

“做这个系统时,难点在于手部动作采集,人与人之间的动作有差异,为了编码,此前前面处理了1万多个数据。”

参加竞赛、申请专利、听讲座都能获学分

此次展示会共展示作品及项目成果453件,其中实物78件,主要包括2016年已经结题验收的国家级、省级大学生创新训练计划项目、基于教师科研的SRTP项目、校级SRTP项目,以及在各级各类学科竞赛中取得优秀成绩的作品,以及学生俱乐部的优秀作品。

东大教务处处长孙伟锋说,东大鼓励学生进行学生在课业之余多进行创新创业研究,目前,要求每个在校大学生在校期间完成至少2个学分的大学生科研训练项目。“这个项目有很多灵活的学习模块,例如参加竞赛、听大师讲座、发表论文、申请专利、自主研究、课外实践,都可以算学分,不过,我们更鼓励创造性的实践。例如听讲座,即使听得再多,也只有0.5个学分。”据悉,大学生科研训练项目在学生中很受欢迎,优秀的学生能拿到50多个学分,在求职市场,也更有竞争力。


来源:现代快报


版权声明:中国聋人网原创内容,转载请注明出处;非原创内容来源于网络,仅作为帮助听障网友了解资讯之用,若不同意发布,请及时与我们联系,我们会尽快处理,谢谢!


相关关键字: 手语 机器人