一种基于节点密度分割和标签传播的Web页面挖掘方法

• 作者: 张乃洲 曹薇 李石君
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 页面分割 节点密度 标签传播 DOM树 块分类 社会计算 社交网络
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 社交网络
• 页码范围: 349-364
• 页数: 16页
• 分类号: TP391
• 字数: 16655字
• 语种: 中文
• DOI: 10.3724/SP.J.1016.2015.00349

摘要

获取Web页面中的重要内容如文本和链接,在许多Web挖掘研究领域有着重要的应用价值.目前针对该问题主要采用Web页面分割和区块识别的方法.但现有的方法将Web页面中重要文本和链接的识别视为两个相互独立的问题,这种做法忽略了Web页面中文本和链接的内在语义关系,同时降低了页面处理的效率.文中提出了一种Web页面重要内容挖掘的统一框架,该框架主要由3个部分组成:第一,先将Web页面转换为DOM树表示,然后采用节点密度熵为度量将DOM树分割为不同的页面块;第二,采用基于K最近邻标签传播的半监督方法自动扩展页面块训练集;第三,在扩展的页面块训练集上对SVM分类器进行训练,并用来对页面块进行分类.采用该框架可以将Web页面块区分为多种类型,并且该框架独立于Web页面的类型和布局.我们在真实的Web环境下进行了广泛的实验,实验结果表明了该方法的有效性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李石君	武汉大学计算机学院	88	753	16.0	22.0
2	张乃洲	河南财经政法大学计算机与信息工程学院	3	23	2.0	3.0
3	曹薇	河南财经政法大学计算机与信息工程学院	4	26	3.0	4.0