融合结构和内容特征提取多类型网页文本要素

• 作者: 余正涛 刘书龙 洪旭东 王宇龙 赖华
• 来源期刊: 山西大学学报（自然科学版）
• 学科: 工学
• 关键词: 多类型网页 网页要素自动提取 结构特征 内容特征
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 第六届中国数据挖掘会议论文选登
• 页码范围: 386-391
• 分类号: TP391
• 语种: 中文
• DOI: 10.13451/j.cnki.shanxi.univ(nat.sci.).2016.03.007

摘要

针对网页设计结构与文本内容上的关联特点,提出了融合结构和内容特征的多类型网页文本要素提取方法.依据网页头部标题元素与网页体内容上的联系提取网页标题;提取网页正文区域的网页结构和内容上的多个特征分类网页DOM节点,定义节点的扩展、整合规则获得正文候选块,引入密度值和影响因子从各候选块中甄别正文块;利用发布时间与标题、正文之间的位置关系,通过正则表达式实现发布时间的提取.对国内新闻网站、博客、论坛及贴吧进行抽取试验,结果表明该方法具有较好的效果.