基于带偏好的宽度优先遍历算法的网页信息抓取方法研究

• 作者: 曾凯
• 来源期刊: 网络安全技术与应用
• 关键词: 网页内容识别 宽度优先遍历算法 内存数据库 正则表达式 PDF文件识别
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 安全模型、算法与编程
• 页码范围: 57-59
• 页数: 3页
• 字数: 2717字
• 语种: 中文
• DOI: 10.3969/j.issn.1009-6833.2017.11.034

摘要

本文介绍了网上医药科研信息的抓取方法.为了高效地抓取网页内容,本系统采用带偏好的宽度优先遍历算法,将待访问的网址存放于高效的内存数据库BerKeley DB中,用正则表达式抽取指定内容,用Java提供的PDFBox技术识别电子文件内容.以详实的代码深入浅出的介绍了实现过程,结果表明,本系统能有效方便地应用于医药科研信息的采集.