基于语义空间统一表征的视频多模态内容分析技术

• 作者: 张峰 张德 王子玮
• 来源期刊: 电视技术
• 学科: 工学
• 关键词: 语义空间 多模态 视频
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 数字视频
• 页码范围: 131-133
• 页数: 3页
• 分类号: TP391
• 字数: 1816字
• 语种: 中文
• DOI: 10.16280/j.videoe.2017.h7.027

摘要

视频是数据处理中综合性能最高,包含内容最广的载体.视频题目通过文字表达,内容通过连续图像帧表达,另外部分视频还包含背景音乐或者解说旁白.因此,视频处理即是对文字、图像、声音的多模态处理.着眼于多模态处理技术,提出基于语义空间统一表征的视频多模态内容分析框架,利用多种架构的深度神经网络,对视频的文字、图像、音频进行分别处理,为达到统一的功效,将不同结构的深度神经网络归结到语义空间,通过语义空间进行综合认知.提出的架构清晰、层次分明,对于视频理解的建模具有指导意义.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张峰	中国电子科技集团公司信息科学研究院	33	47	4.0	5.0
2	张德	中国电子科技集团公司信息科学研究院	15	55	6.0	7.0
3	王子玮	中国电子科技集团公司信息科学研究院	4	0	0.0	0.0