基于Hadoop分布式平台的Web文本关键词提取方案

• 作者: 姚卫国 张东波
• 来源期刊: 湘潭大学自然科学学报
• 学科: 工学
• 关键词: WEB文本 关键词提取 HADOOP平台 自然语言处理 分布式
• 年，卷（期）: 2016,（2）
• 页码范围: 79-83
• 页数: 5页
• 分类号: TP391

摘要

针对海量Web文本的关键词提取问题,提出一种基于Hadoop分布式计算平台的关键词提取方案.首先,配置Hadoop平台,使其能够支持自然语言处理过程;然后,使用GATE工具对Web文本进行词句分割、词性标注和注释规则操作,得到候选关键词集;最后,利用单词位置和跨度重要性因子对传统TF-IDF算法进行加权,从而计算候选关键词与文档之间的相关性,最终获得该文档的关键词以标注文档属性.实验结果表明,提出的分布式关键词提取方案能够快速准确地提取Web文档的关键词.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姚卫国	南昌理工学院计算机信息工程系	12	4	1.0	2.0
2	张东波	华南理工大学土木与交通学院	2	3	1.0	1.0