基于结构驱动的网络论坛采集路径研究

• 作者: 刘金刚 徐燕 李南波 李恒训 邱泳钦
• 来源期刊: 计算机应用研究
• 关键词: 信息检索 论坛采集 结构驱动 聚类 路径选择
• 年，卷（期）: 2011,（9）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 3284-3287
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2011.09.021

摘要

网络论坛中蕴涵着大量具有实用价值和商业价值的信息,是搜索引擎和问答系统信息的重要来源.针对论坛结构复杂、链接种类繁多,以及容易陷入采集陷阱等问题,提出了一种基于结构驱动的采集路径选择方法.首先根据用户标注的少量类型数据,利用DOM树对采样网页基于网页结构进行结构聚类；其次根据各节点的评价进行采集路径选择；最后对翻页链接进行有效的识别和处理.实验表明,该方法采集的覆盖率和有效率明显优于传统算法,并且应用在中国科学院计算所舆情监测平台上取得了良好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘金刚	首都师范大学计算机联合研究院	92	985	18.0	26.0
5	徐燕	首都师范大学计算机联合研究院	15	50	4.0	6.0
9	李恒训	首都师范大学计算机联合研究院	2	72	2.0	2.0
11	邱泳钦	中国科学院计算技术研究所	3	3	1.0	1.0
15	李南波	湘潭大学信息工程学院	1	2	1.0	1.0