基于关键词提取的娱乐新闻文档去重算法

• 作者: 孟凡亮 张国英 沙芸
• 来源期刊: 广西师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 关键词提取 新词识别 文档相似度
• 年，卷（期）: 2007,（2）
• 页码范围: 30-33
• 页数: 4页
• 分类号: TP181
• 字数: 3759字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-6600.2007.02.008

摘要

去除内容相同或相近的新闻是提高搜索引擎的关键技术之一.提出一种基于关键词提取的新闻去重算法,通过以标题为种子点构建词汇链的方法,能够找到对主题贡献大的非高频词,从而抽取出完整文档关键词集合,该方法能够基于小规模语料库识别新词;为了提高网页去重速度和质量,基于关键词建立去重倒排文档.实验结果显示,该方法与传统方法相比排斥错误率降低了5%,去重时间缩短了20%～30%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张国英	北京石油化工学院计算机系	25	408	13.0	19.0
2	沙芸	北京石油化工学院计算机系	14	108	6.0	10.0
3	孟凡亮	北京石油化工学院计算机系	1	8	1.0	1.0