基于标签路径覆盖率和多文本 特征的正文抽取算法

• 作者: 于林林 宋旭东 郑野 陈鑫影
• 来源期刊: 大连交通大学学报
• 关键词: 文本块密度 标签路径覆盖率 正文抽取
• 年，卷（期）: 2019,（5）
• 所属期刊栏目: 电气信息工程
• 页码范围: 112-116
• 页数: 5页
• 字数: 4352字
• 语种: 中文
• DOI: 10.13291/j.cnki.djdxac.2019.05.022

摘要

如何正确识别网页中存在的网页评论、导航、版权声明等噪音数据,提高网页抽取正文的准确度,提出了一种结合多种文本特征的正文抽取算法(CETD-TPF).在文本块密度和标签路径覆盖率的基础之上又融合了文本符号特征,利用新特征确定并抽取正文文本块.此方法有效的解决了网页正文短文本难以抽取的问题,且无需人工训练和处理.在对各大知名新闻网站随机选取的数据集进行实验表明,CETD-TPF方法在不同数据源上的适用性较好,正文抽取精度好于CETR、CETD算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	宋旭东	大连交通大学软件学院	38	216	8.0	13.0
2	陈鑫影	大连交通大学软件学院	10	29	3.0	5.0
3	于林林	大连科技学院数字技术学院	15	4	1.0	1.0
4	郑野	大连交通大学软件学院	1	0	0.0	0.0