一种面向藏文聚类的文本建模方法

• 作者: 于洪志 江涛
• 来源期刊: 西北民族大学学报（自然科学版）
• 学科: 工学
• 关键词: 藏文文本 文本建模 文本聚类 词性标注 词向量
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 信息技术
• 页码范围: 24-28,79
• 页数: 6页
• 分类号: TP391
• 字数: 5169字
• 语种: 中文

摘要

现有的藏文文本聚类算法均采用向量空间模型来进行文本建模.该模型存在向量维度过高和无法表示语义信息的问题.该文根据藏文的语法特性并借鉴主题模型的思想，提出了一种基于词向量的藏文文本建模方法.该方法首先采用最大熵模型进行藏文文本词性标注，选择名词和动词作为文本的特征，然后利用 word2vec 工具训练得到词语类别并计算其在各文本的概率分布，最终以词类别概率矩阵表示文本，从而实现文本建模.与基于 VSM和基于 LDA的文本建模方法相比，该方法文本聚类结果的F值分别提高了10.5%和2.4%，聚类效果提升明显.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于洪志	西北民族大学甘肃省民族语言智能处理重点实验室	157	612	12.0	16.0
2	江涛	西北民族大学甘肃省民族语言智能处理重点实验室	10	31	4.0	5.0