一种采用声学指纹去重的海量MP3文件存储架构

• 作者: 孙莉莉 杨扬 赵晓永
• 来源期刊: 计算机应用研究
• 关键词: Hadoop MP3 声学指纹 数据消重 存储架构
• 年，卷（期）: 2013,（2）
• 所属期刊栏目: 软件技术研究
• 页码范围: 472-475
• 页数: 4页
• 分类号: TP311
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2013.02.042

摘要

由于Hadoop自身并不适合海量小文件处理,目前的重复数据删除方法主要基于文件的二进制特征,无法识别经过信号处理后的同一首歌曲,也不能满足海量数据在线处理的要求.提出一种采用声学指纹去重的海量MP3文件存储架构,结合音乐文件自身的声学特性和MP3文件包含的元信息,通过索引、在线归并和NAF去重,很好地解决了小文件过多时内存瓶颈问题,同时提供了更好的去重效果；离线归并和副本调整模块根据系统的运行状况不断优化存储.实验结果表明,该架构在性能、去重率、可管理性和可扩展性方面达到了良好的平衡,极大地提高了去重率,与可变分块CDC相比,去重率提高了100％,具有良好的实用价值.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨扬	北京科技大学计算机与通信工程学院	183	2049	21.0	36.0
2	赵晓永	北京科技大学计算机与通信工程学院	8	94	4.0	8.0
3	孙莉莉	北京科技大学计算机与通信工程学院	4	81	3.0	4.0