采用并行遗传算法的文本分割研究

• 作者: 刘念 樊娜 蔡皖东 赵煜
• 来源期刊: 西安交通大学学报
• 关键词: 中文信息处理 文本分割 遗传算法
• 年，卷（期）: 2009,（12）
• 页码范围: 40-44
• 页数: 5页
• 分类号: TP39
• 语种: 中文
• DOI: 10.3321/j.issn:0253-987X.2009.12.009

摘要

针对短篇幅文本数据稀疏的特性,提出了一种利用外部语料库知识提高短篇幅文本分割准确率的方法.该方法分2个步骤完成:①利用Gibbs采样方法估计语料库对应的潜在狄利克雷分配(LDA)模型,并利用该模型推断目标文本的潜在语义结构信息;②通过定义语义段落内凝聚性和语义段落间发散性2个目标函数,将文本分割问题转化为多目标优化问题.采用一种针对文本分割的并行遗传算法,获得全局最优解.通过实验,在文本数据稀疏的情况下,该算法在准确率方面优于多元判别分析(MDA)方法和基于LDA的文本分割方法,对于提高文本分割的准确率是可行和有效的.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	蔡皖东	西北工业大学计算机学院	157	1423	21.0	28.0
2	樊娜	西北工业大学计算机学院	6	89	3.0	6.0
3	赵煜	西北工业大学计算机学院	12	128	5.0	11.0