基于DBSCAN算法的网页正文提取

• 作者: 林丕源 欧阳佳
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 主题爬虫 正文提取 DBSCAN算法 密度
• 年，卷（期）: 2011,（3）
• 页码范围: 64-66,69
• 分类号: TP18
• 字数: 3613字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2011.03.023

摘要

针对网页正文提取问题,提出一种基于分段因子的方法对网页源文件进行过滤得到纯文本段,将每段看作二维空间中的一个点,利用DBSCAN聚类算法对这些点进行聚类得到正文内容.该方法复杂度低,并且不依赖于网站布局风格,适应性强.对各大国内外新闻类网站进行实验,结果表明,该方法对中英文新闻类网站的正文提取效果明显,具有较高的平均准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	林丕源	华南农业大学信息学院	42	267	9.0	13.0
2	欧阳佳	华南农业大学信息学院	1	23	1.0	1.0