基于HMM的融合多模态的事件检测

• 作者: 丁思捷 张玉珍 戴跃伟 王建宇 陈钱
• 来源期刊: 系统仿真学报
• 学科: 工学
• 关键词: 多模态融合 视频语义分析 隐马尔科夫模型 事件检测
• 年，卷（期）: 2012,（8）
• 所属期刊栏目: 信息、控制、决策与仿真
• 页码范围: 1638-1642
• 分类号: TP391.9
• 语种: 中文

摘要

事件检测是视频语义分析中的一大难题。在视频中有多种语义丰富的模态信息，融合多模态信息可以帮助准确的检索出所需的事件。提出了一种基于HMM有效融合多模态对象的足球视频语义分析方法。首先从视濒中抽取音频流，然后基于CHMM将音频分类。接着根据时间对应关系将音频对象与视频流融合，然后在相应的视频流镜头中基于DHMM融合多种模态对象实现精彩事件如射门、犯规及一般事件的检测，对射门事件进一步结合比分字幕的出现检测进球事件。另外，对DHMM模型的结构、参数初始值尤其是参数约束条件进行了详细地描述。实验证实提出的算法具有较好的效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王建宇	南京理工大学自动化学院	57	550	15.0	20.0
2	戴跃伟		38	139	7.0	10.0
3	丁思捷	南京理工大学自动化学院	1	11	1.0	1.0