基于改进的TF-IDF算法及共现词的主题词抽取算法

• 作者: 任威隆 公冶小燕 张春云 张晨 林培光
• 来源期刊: 南京大学学报（自然科学版）
• 学科: 工学
• 关键词: 共现词 互信息 语义分析(LSA) 奇异值分解(SVD) Term requency-Inverse Document Frequency(TF-IDF)
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 人工智能:从知识发现到机器学习
• 页码范围: 1072-1080
• 页数: 9页
• 分类号: TP311
• 字数: 7535字
• 语种: 中文
• DOI: 10.13232/j.cnki.jnju.2017.06.009

摘要

信息主题的抽取是快速定位用户需求的基础任务,主题词抽取时主要存在三个问题:一是词语权重的计算,二是词语间关系的度量,三是数据维度灾难.在计算词权重时首先利用互信息确定共现词对,与词频、词性、词位置信息非线性组合,然后,根据词权重构建文档—共现词矩阵并建立潜在语义分析(Latent Semantic Analysis, LSA)模型.该方法借助 LSA模型的奇异值分解(Singular Value Decomposition,SVD)将文档—共现词矩阵映射到潜在语义空间,不仅实现数据降维,而且获得低维度的文档相似矩阵.最后,对文档相似矩阵进行k-means 聚类,在同类文档中选出词权重最大的前几对共现词,作为该类文章的主题词.对比基于 TF-IDF(Term Frequency-Inverse Document Frequency)和共现词抽取主题词的实验,该算法的准确度分别提高了19%和10%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张春云	山东财经大学计算机科学与技术学院	4	40	3.0	4.0
2	林培光	山东财经大学计算机科学与技术学院	13	62	4.0	7.0
4	公冶小燕	山东财经大学计算机科学与技术学院	2	17	1.0	2.0
10	任威隆	山东财经大学计算机科学与技术学院	1	16	1.0	1.0
11	张晨	山东财经大学计算机科学与技术学院	1	16	1.0	1.0