音视频信息融合的说话人跟踪算法研究

• 作者: 曹洁 郑景润
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 对象跟踪 声源定位 肤色跟踪 均值漂移 重要性粒子滤波
• 年，卷（期）: 2012,（13）
• 所属期刊栏目: 数据库、信号与信息处理
• 页码范围: 118-124
• 分类号: TP391
• 字数: 5262字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2012.13.026

摘要

针对单独的音频和视频信息跟踪的缺陷,提出了一种音视频信息融合的粒子滤波跟踪算法.采用闭环跟踪框架,分为底层跟踪、融合、重要性粒子滤波、跟踪输出和反馈五个环节.底层跟踪环节利用说话人脸部肤色信息进行均值漂移跟踪的同时,利用说话人声音信号到达麦克风阵列的时间延迟进行跟踪定位;融合环节对这两者得到的跟踪信息进行整合,得出基于音视频信息融合的重要性函数和融合似然模型；滤波环节利用重要性粒子滤波算法对融合的数据进行滤波处理；跟踪环节根据滤波结果对说话人进行跟踪；反馈环节将跟踪结果动态反馈给人脸肤色跟踪和声源定位跟踪模块.流程化的闭环处理过程保证了算法的实时性.最后,采用AMI会议语料库对该算法进行测试,结果表明该算法平均误跟率仅为9.32％,比使用单一音频或视频信息的跟踪算法稳定性好、准确性高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	曹洁	兰州理工大学电气工程与信息工程学院	180	1035	14.0	20.0
2	郑景润	兰州理工大学电气工程与信息工程学院	1	1	1.0	1.0