结合网页结构与文本特征的正文提取方法

• 作者: 张玉芳 熊忠阳 牙漫 蔺显强
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 正文提取 网页去噪 网页分块 主题爬行 信息检索 Web挖掘
• 年，卷（期）: 2013,（12）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 200-203,210
• 页数: 5页
• 分类号: TP18
• 字数: 5096字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2013.12.043

摘要

网页中存在正文信息以及与正文无关的信息，无关信息的存在对Web页面的分类、存储及检索等带来负面的影响。为降低无关信息的影响，从网页的结构特征和文本特征出发，提出一种结合网页结构特征与文本特征的正文提取方法。通过正则表达式去除网页中的无关元素，完成对网页的初次过滤。根据网页的结构特征对网页进行线性分块，依据各个块的文本特征将其区分为链接块与文本块，并利用噪音块连续出现的结果完成对正文部分的定位，得到网页正文信息。实验结果表明，该方法能够快速准确地提取网页的正文内容。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	熊忠阳	重庆大学计算机学院	135	2447	25.0	44.0
2	张玉芳	重庆大学计算机学院	125	2737	26.0	48.0
3	牙漫	重庆大学计算机学院	2	58	2.0	2.0
4	蔺显强	重庆大学计算机学院	1	37	1.0	1.0