基于词语关联的文本特征词提取方法

• 作者: 廖浩 张意 李志蜀 王秋野
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 词语关联 词共现率 向量空间模型 特征提取 权重计算
• 年，卷（期）: 2007,（12）
• 所属期刊栏目: 数据库与数据挖掘
• 页码范围: 3009-3012
• 页数: 4页
• 分类号: TP391.1
• 字数: 4775字
• 语种: 中文

摘要

文本的特征描述是文本自动处理的基础工作之一,目前的文本特征描述一般采用加权VSM模型,该模型大都使用统计的和经验的加权算法,文本每一维特征的权重就是其TFIDF值,这种方法难以突出对文本内容起到关键性作用的特征,而且不能很好地揭示文本中词与词的关系.针对此缺点,提出了一种新的基于关键词语和词语共现频率的特征选择和权重计算方法.该方法在TF-IDF方法的基础上利用了文本的结构信息,同时运用互信息理论提取出对文本内容起到关键性作用的词语;权重计算则综合了词语位置、词语关系和词语频率等,突出了文本中关键词的贡献,弥补了单纯使用TF-IDF权重函数进行计算的一些缺陷,并使文本的特征向量蕴涵了词与词的相关信息.通过采用KNN分类器进行实验,结果显示该方法比传统TF-IDF方法的平均分类准确率有明显提高. 到关键性作用的特征,而且不能很好地揭示文本中词与词的关系.针对此缺点,提出了一种新的基于关键词语和词语共观频率的特征选择和权重计算方法.该方法在TF-IDF方法的基础上利用了文本的结构信息,同时运用互信息理论提取出对文本内容起到关键性作用的词语;权重计算则综合了词语位置、词语关系和词语频率等,突出了文本中关键词的贡献, 补了单纯使用TF-IDF权重函数进行计算的一些缺陷,并使文本的特征向量蕴涵了词与词的相关信息.通过采用KNN分类器进行实验,结果显示该方法比传统TF-IDF方法的平均分类准确率有明显提高. 到关键性作用的特征,而且不能很好地揭示文本中词与词的关系.针对此缺点,提出了一种新的基于关键词语和

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李志蜀	四川大学计算机学院	215	2961	28.0	46.0
2	张意	四川大学计算机学院	24	123	6.0	11.0
3	廖浩	四川大学计算机学院	2	28	2.0	2.0
4	王秋野	四川大学计算机学院	2	28	2.0	2.0