基于改进卡方统计量的藏文文本表示方法

• 作者: 于洪志 加羊吉 徐涛
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 藏文信息处理 改进卡方统计量 文本表示 自动断句 向量空间模型
• 年，卷（期）: 2014,（6）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 185-189
• 页数: 5页
• 分类号: TP18
• 字数: 5632字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.06.040

摘要

藏文文本表示是将非结构化的藏文文本转换为计算机能够处理的数据形式,是藏文文本分类、文本聚类等领域特征抽取的前提.传统的藏文文本表示方法较少考虑特征项之间的关联度,容易造成语义损失.为此,结合向量空间模型,提出一种新的藏文文本表示方法.提取文本中词频统计TF-IDF值较高的部分词项作为对比词项,对藏文文本进行断句处理,以每个句子作为一个语境主题,利用卡方统计量计算文本中词项与对比词项的关联程度.实验结果表明,与传统的向量空间模型相比,该方法能更准确地表示藏文文本.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于洪志	西北民族大学中国民族语言文字信息技术重点实验室	157	612	12.0	16.0
2	加羊吉	西北民族大学中国民族语言文字信息技术重点实验室	12	99	6.0	9.0
3	徐涛	西北民族大学中国民族语言文字信息技术重点实验室	12	20	3.0	4.0