大数据下MongoDB数据库档案文档存储去重研究

• 作者: 贺建英
• 来源期刊: 现代电子技术
• 关键词: MongoDB MD5 大数据 档案文档去重 GridFs
• 年，卷（期）: 2015,（16）
• 所属期刊栏目: 计算机软/硬件与数据总线
• 页码范围: 51-55
• 页数: 5页
• 分类号: TN911-34|TP311
• 语种: 中文

摘要

针对大数据下档案存储的现状,通过分析存储档案文档存在重复的原因,提出一种MongoDB存储档案文档的方法,利用MongoDB的GridFs统一处理不同类型和大小的文件,定义3个集合分别存储上传者记录、文件信息记录和分块文件内容,提出存储中通过文件MD5校验码值是否相同来进行去重研究,并实现去重的程序代码,有一定的实际意义.采用的分布式存储数据库增强了档案文档存储系统的可扩展性.实验表明,该方法能有效地去除重复的档案文档,提高查询效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贺建英	四川文理学院计算机学院	35	93	6.0	8.0