一种基于主题聚类的多文本自动摘要算法

• 作者: 徐小龙 杨春春
• 来源期刊: 南京邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: 聚类算法 机器学习 多文本 自动摘要 主题模型
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 计算机与自动控制
• 页码范围: 70-78
• 页数: 9页
• 分类号: TP391
• 字数: 7489字
• 语种: 中文
• DOI: 10.14132/j.cnki.1673-5439.2018.05.010

摘要

在大数据时代,有价值的数据常常隐藏在互联网中.如何在互联网上有效地获取所需信息成为当前学科领域迫切需要解决的问题.多文本自动摘要技术可以从多个主题相关的文本中自动产生该主题全面、简明扼要的内容摘要,提高了用户获取信息的效率.然而,目前多文本摘要算法仍不理想,存在文本摘要的结果准确率低,召回率低等问题.文中提出了一种基于主题聚类的多文本自动摘要算法(Multi-Document Summarization Algorithm based on Topic Clustering,MDSTC).首先在典型的聚类算法中加入文本密度排序的步骤,确定初始聚类中心数,由此能够自动地发现文本集合所隐藏的子主题数量.下一步从不同的子主题集合中进行摘要的抽取,抽取的部分采用卷积神经网络算法,通过对已聚类的主题文本进行有监督的训练,对所有的句子评分、标记,选择符合中心内容的语句作为文本摘要.最后,输出所得的摘要内容.实验结果表明,与典型的基于LexRank的多文本自动摘要算法和基于WSRank的多文本自动摘要算法相比,文中提出的MDSTC算法在准确率、召回率等方面,均有较好的性能表现,生成摘要所需的时间也比这两种算法要短.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐小龙	南京邮电大学江苏省大数据安全与智能处理重点实验室	108	913	17.0	25.0
5	杨春春	南京邮电大学江苏省大数据安全与智能处理重点实验室	1	3	1.0	1.0