基于节点属性与正文内容的海量Web信息抽取方法

• 作者: 曹攀 王海艳
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: Web信息 抽取 MapReduce DOM树
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 学术论文
• 页码范围: 9-17
• 页数: 9页
• 分类号: TP393.07
• 字数: 8149字
• 语种: 中文
• DOI: 10.11959/j.issn.1000-436x.2016190

摘要

为解决大数据场景下从海量Web页面中抽取有价值的信息，提出了一种基于节点属性与正文内容的海量Web信息抽取方法。将Web页面转化为DOM树表示，并提出剪枝与融合算法，对DOM树进行简化；定义DOM树节点的密度和视觉属性，根据属性值对Web页面内容进行预处理；引入MapReduce计算框架，实现海量Web信息的并行化抽取。仿真实验结果表明，提出的海量Web信息抽取方法不仅具有更好的性能，还具备较好的系统可扩展性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王海艳	南京邮电大学计算机学院	88	837	14.0	26.0
3	曹攀	南京邮电大学计算机学院	2	11	1.0	2.0