海量图片文件存储去重技术研究

• 作者: 孙有军 张大兴
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 图片文件 去重 分布式 MD5
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 应用技术与研究
• 页码范围: 56-58
• 页数: 3页
• 分类号: TP391
• 字数: 3370字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2014.04.014

摘要

提出一种基于分布式数据库与分布式文件系统相结合的海量图片文件存储去重技术。该技术通过提取图片文件二进制流的特征段计算文件 MD5码签名，依据签名对图片文件进行存储去重。结合实验数据分析验证该技术不仅能够准确地去重图片，有较高的删除率，且经对比得到该技术在计算签名时间、上传速度等方面均优于文件级去重和块级去重技术，是对海量图片数据存储的一种优化。同时针对该技术的不足提出了改进方案。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张大兴	杭州电子科技大学计算机学院图形图像研究所	27	106	6.0	8.0
2	孙有军	杭州电子科技大学计算机学院图形图像研究所	1	10	1.0	1.0