基于词频差异特征选取的Context Graph算法改进

• 作者: 吴崇正 张永
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 主题爬虫 Context Graph模型 搜索策略 特征选取 TF-IDF
• 年，卷（期）: 2014,（10）
• 所属期刊栏目: 数据库、数据挖掘、机器学习
• 页码范围: 141-146
• 页数: 6页
• 分类号: TP391
• 字数: 7685字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1207-0328

摘要

为了解决传统主题爬虫效率偏低的问题，在分析了启发式网络爬虫搜索算法Context Graph的基础上，提出了一种改进的Context Graph爬虫搜索策略。该策略利用基于词频差异的特征选取方法和改进后的TF-IDF公式对原算法进行了改进，综合考虑了网页不同部分的文本信息对特征选取的影响，及特征词的类间权重和类中权重，以提高特征选取和评价的质量。实验结果表明，与既定传统方法进行实验对照，改进后的策略效率更高。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张永	兰州理工大学计算机与通信学院	55	314	10.0	14.0
2	吴崇正	兰州理工大学计算机与通信学院	3	38	2.0	3.0