基于文本特征值的正文抽取方法

• 作者: 孟川 武小年
• 来源期刊: 桂林电子科技大学学报
• 学科: 工学
• 关键词: 正文抽取 主题网页 文本特征值 高斯平滑
• 年，卷（期）: 2017,（2）
• 页码范围: 106-110
• 页数: 5页
• 分类号: TP391
• 字数: 4638字
• 语种: 中文

摘要

针对现有Web正文抽取方法适用性差、准确率低的问题,提出了一种基于文本特征值的正文抽取方法.该方法通过对Web页面的代码进行预处理,再解析转换成DOM树;通过遍历DOM树,以节点的文本长度和标点符号权重计算DOM树各节点的文本特征值,并通过标准差消除噪声;通过高斯函数为节点的文本特征值进行平滑处理,缓解节点文本特征值的突变,降低短文本节点丢失的可能.实验测试结果表明,该方法不依赖标签,也无需训练数据,具有较好的通用性和较高的正文抽取准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	武小年	桂林电子科技大学信息与通信学院	45	254	6.0	14.0
5	孟川	桂林电子科技大学信息与通信学院	3	5	1.0	2.0