企业内网文件爬取与检索系统的设计与实现

• 作者: 周杨 熊浩 岳帅 赵杰 朱文韬
• 来源期刊: 信息与电脑
• 学科: 工学
• 关键词: 企业内网 文件爬取 文件检索 分布式任务调度 MD5摘要
• 年，卷（期）: 2021,（18）
• 所属期刊栏目: 软件开发与应用
• 页码范围: 149-153
• 页数: 5页
• 分类号: TP311.13
• 语种: 中文
• DOI: 10.3969/j.issn.1003-9767.2021.18.044

摘要

为了有效满足企业内分布式文件存储的检索需求,本文系统通过FTP、SMB和SSH协议建立到FTP服务器、Windows共享文件夹的连接,利用分布式任务调度中心定期或手动执行文件爬取任务,同时对文件的标题、内容等进行分析,建立整合的文件索引库.其中,存储文件的MD5摘要作为文件版本变动的判别依据.在系统前端为用户提供了简洁强大的文件检索入口,用户输入关键字即可获得分布在各处的文件并可以在线浏览或下载.该系统能够显著提高企业用户检索文档的效率和获得信息的能力.