基于文本块密度与标签路径等特征的正文提取

• 作者: 唐超兰 李航 杨贤
• 来源期刊: 广东工业大学学报
• 学科: 工学
• 关键词: 正文抽取 文本块 标签路径 文本密度
• 年，卷（期）: 2018,（2）
• 页码范围: 51-56
• 页数: 6页
• 分类号: TP391
• 字数: 3589字
• 语种: 中文
• DOI: 10.12052/gdutxb.170152

摘要

为了解决网页中除正文信息外还包含网页导航、广告和免责声明等噪声信息的问题,本文提出一种基于标签路径等多特征和文本块密度的正文提取方法. 首先根据文本块密度特征确定正文区域,然后在区域内使用标签路径等特征剔去噪音节点,最后抽取该文本块中的正文节点内容. 该方法有效解决了网页正文块中噪声信息难以过滤和标签路径等特征易对正文部分外较长文本误抽取的问题,且无须训练和人工处理. 从知名网站上随机选取新闻网页数据集进行实验,验证了该方法在不同数据源上都具有很好的适用性,抽取精确度优于CETR、CETD等方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	唐超兰	广东工业大学艺术与设计学院	29	126	7.0	9.0
2	李航	广东工业大学计算机学院	3	22	2.0	3.0
3	杨贤	广东工业大学艺术与设计学院	14	50	4.0	6.0