基于词组主题建模的文本语义压缩算法

• 作者: 吕明琪 张引 王李冬
• 来源期刊: 西南交通大学学报
• 学科: 工学
• 关键词: 主题模型 代表性语义词汇 文本挖掘 语义压缩 SCPTM
• 年，卷（期）: 2015,（4）
• 页码范围: 755-763
• 页数: 9页
• 分类号: TP392
• 字数: 7999字
• 语种: 中文
• DOI: 10.3969/j.issn.0258-2724.2015.04.027

摘要

为了实现文本代表性语义词汇的抽取,提出一种基于词组主题建模的文本语义压缩算法SCPTM(semantic compression based on phrase topic modeling).该算法首先将代表性语义词汇抽取问题转化为最大化优化模型,并通过贪心搜索策略实现该模型的近似求解.然后,利用词组挖掘模型LDACOL实现词组主题建模,得到SCPTM算法的输入参数;同时,针对该模型中词组的主题分配不稳定的问题进行改进,使得取得的代表性语义词汇更加符合人们对语义的认知习惯.最后,将改进LDACOL模型与LDA模型、LDACOL模型以及TNG模型的主题挖掘性能进行实验比较,并利用SCPTM算法针对不同语料库进行语义压缩,根据聚类结果评价其有效性.实验结果表明,在多数情况下,改进LDACOL模型的主题抽取效果优于其他3种模型;通过SCPTM算法抽取代表性语义词汇能达到70％ ～ 100％的精度,相比PCA、MDS、ISOMAP等传统降维算法能获得更高的聚类效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张引	浙江大学计算机科学与技术学院	44	1518	17.0	38.0
2	王李冬	杭州师范大学钱江学院	34	210	8.0	14.0
3	吕明琪	杭州师范大学钱江学院	7	59	4.0	7.0