基于网页DOM树节点路径相似度的正文抽取

• 作者: 刘蓉 潘心宇 王美清 陈长福
• 来源期刊: 微型机与应用
• 学科: 工学
• 关键词: DOM树 信息抽取 HTML标签 网页去噪 正文抽取
• 年，卷（期）: 2016,（19）
• 所属期刊栏目: 技术与方法
• 页码范围: 74-77
• 页数: 4页
• 分类号: TP301.6
• 字数: 3575字
• 语种: 中文
• DOI: 10.19358/j.issn.1674-7720.2016.19.022

摘要

由于人工抽取网页信息效率低、成本高,因此根据对大量网页结构的观察,提出基于网页文档对象模型DOM树节点路径相似度的正文抽取方法.依据同网站下的网页结构相同的特点去除网页噪声得到网页的主题内容,然后结合正文节点在DOM树中的路径的相似度抽取正文.通过对不同类型的中文新闻网站上的1 000个网页进行实验,结果表明该方法对于97.6％的网页都能够去除大部分噪声并保持正文内容的完整性,正文抽取结果有93.30％的准确率和95.59％的召回率.所提算法对不同类型的网页都有较好的适应性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王美清	福州大学数学与计算机科学学院	55	204	7.0	10.0
2	刘蓉	福州大学数学与计算机科学学院	6	17	2.0	4.0
3	陈长福		2	12	2.0	2.0
4	潘心宇	福州大学数学与计算机科学学院	1	9	1.0	1.0