基于多模式接口技术的聋人与正常人交流系统

• 作者: 王兆其 陈熙霖 马继勇 高文
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 手语合成 人脸特征检测 多模式接口
• 年，卷（期）: 2000,（12）
• 所属期刊栏目: 多媒体专辑
• 页码范围: 1253-1260
• 页数: 8页
• 分类号: TP391
• 字数: 7674字
• 语种: 中文
• DOI: 10.3321/j.issn:0254-4164.2000.12.003

摘要

讨论了利用多模式接口技术处理异种语言模式交流的问题.作为连接聋哑人和听力正常人的一个桥梁,我们将手语识别、手语合成、唇读、人脸特征检测以及特定人面部动画相结合,构成了手语转换和口语交流的代理.文中对汉语手语识别和合成中的一些特殊问题进行了讨论.对手语识别采用数据手套作为手语输入的数据采集设备.对于一些同形异意的手语词汇,利用唇读得到的辅助信息可以达到提高识别率的效果.对手语的合成,采用运动跟踪获得的信息来加强原来基于手工建模的三维虚拟人合成,增强了手语合成与显示的自然逼真度.文中的研究验证了利用多模式接口技术可以有效地实现异种语言模式间的交流.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高文	中国科学院计算技术研究所	150	5863	39.0	72.0
5	陈熙霖	哈尔滨工业大学计算机系	13	599	10.0	13.0
6	王兆其	中国科学院计算技术研究所	80	1520	21.0	36.0
7	马继勇	中国科学院计算技术研究所	4	123	3.0	4.0