基于支持向量机的网页正文内容提取方法

• 作者: 杨永全 梁东 魏志强
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 支持向量机 正文抽取 HTML标签 降噪 机器学习
• 年，卷（期）: 2018,（9）
• 所属期刊栏目: 人工智能
• 页码范围: 21-26,31
• 页数: 7页
• 分类号: TP391.1
• 字数: 6743字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2018.09.005

摘要

针对网页的正文信息抽取,提出一种基于支持向量机(SVM)的正文信息抽取方法.该方法采取宽进严出的策略.第1步根据网页结构的规律遍历网页DOM树,定位到一个同时包含正文和噪音信息的HTML标签.第2步选择含噪音信息的HTML标签的5个重要特征,并采用SVM训练样本数据.SVM训练得出的数据模型可以有效去除导航、推广、版权等噪音信息,成功保留正文.将该方法应用于几大常用的网站,实验结果表明该方法具有较好的正文抽取效果和降噪效果,对于传统方法中经常误删的短文本、与正文相关的超链接等信息能够准确保留.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	魏志强	中国海洋大学信息科学与工程学院	61	583	13.0	22.0
2	杨永全	中国海洋大学信息科学与工程学院	2	2	1.0	1.0
3	梁东	中国海洋大学信息科学与工程学院	1	0	0.0	0.0