一种基于词聚类信息熵的新闻提取方法

• 作者: 于水源 吴林 牛伟农
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 新闻提取 新话题 词向量 聚类 信息熵
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 人工智能
• 页码范围: 36-40
• 页数: 5页
• 分类号: TP301
• 字数: 5260字
• 语种: 中文
• DOI: 10.11907/rjdk.192209

摘要

互联网的飞速发展为大众带来便利的同时也产生了大量冗余信息,利用自然语言处理技术对新话题文章进行提取,控制新话题中虚假新闻传播,可为舆情控制提供有效支持.提出一种基于词聚类信息熵的新闻提取方法,并对"一带一路"相关新闻语料进行实验.实验通过网络爬虫的方式获取相关报道,利用Pkuseg工具分词进行一系列预处理后训练生成Word2vec词向量,然后利用词频统计筛选出历史高频词进行K-means聚类,将聚类后的词簇作为随机变量计算当前文章的信息熵.若文章的信息熵高于设定阈值,则为新话题文章,需要重点关注.结果表明,该方法在阈值设置为0.65时,新闻提取结果的准确率可达到84％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于水源	中国传媒大学智能融媒体教育部重点实验室	15	13	2.0	2.0
2	吴林	中国传媒大学智能融媒体教育部重点实验室	4	6	1.0	2.0
3	牛伟农	中国传媒大学智能融媒体教育部重点实验室	1	0	0.0	0.0