基于网页框架和规则的网页噪音去除方法

• 作者: 时达明 杨志豪 林鸿飞
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 信息检索 网页噪音 页面框架
• 年，卷（期）: 2007,（19）
• 所属期刊栏目: 开发研究与设计技术
• 页码范围: 276-278
• 页数: 3页
• 分类号: TP393
• 字数: 4125字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2007.19.098

摘要

提出了一种基于网页框架和规则的网页去除噪音的新方法,该方法根据网页中HTML标签,＜table＞将网页分成若干部分,对各个table的长宽比属性进行比较,去掉长宽比很大的部分,并对其余table中的内容进行分析,根据内部是否存在和段落文字有关的标签＜p＞或＜br＞等来区分主题内容和噪音内容,在此基础上去除噪音内容.对来自CWT200G语料的132 559个网页进行测试后的结果表明,该方法可以有效地去除网页噪音,使索引文件减少约75%,大大地提高了检索速度,准确度也得到一定提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	林鸿飞	大连理工大学计算机科学与工程系	214	3759	31.0	55.0
2	杨志豪	大连理工大学计算机科学与工程系	57	863	13.0	28.0
3	时达明	大连理工大学计算机科学与工程系	3	80	3.0	3.0