基于文本块密度和标签路径覆盖率的网页正文抽取

• 作者: 刘鹏程 吴共庆 胡骏
• 来源期刊: 计算机应用研究
• 关键词: 正文抽取 文本块密度 标签路径覆盖率 特征融合
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 1645-1650
• 页数: 6页
• 分类号: TP391.1
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2018.06.010

摘要

大多数网页除了正文信息外,还包括导航、广告和免责声明等噪声信息.为了提高网页正文抽取的准确性,提出了一种基于文本块密度和标签路径覆盖率的抽取方法(CETD-TPC).结合网页文本块密度特征和标签路径特征的优点,设计了融合两种特征的新特征,利用新特征抽取网页中的最佳文本块,最后,抽取该文本块中的正文内容.该方法有效地解决了网页正文中噪声块信息过滤和短文本难以抽取的问题,且无须训练和人工处理.在CleanEval数据集和从知名网站上随机选取的新闻网页数据集上的实验结果表明,CETD-TPC方法在不同数据源上均具有很好的适用性,抽取性能优于CETR、CETD和CEPR算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴共庆	合肥工业大学计算机与信息学院	24	251	6.0	15.0
2	胡骏	合肥工业大学计算机与信息学院	4	36	2.0	4.0
3	刘鹏程	合肥工业大学计算机与信息学院	2	35	2.0	2.0