一种改进的向量空间模型的文本表示算法

• 作者: 于旭庭 张宜浩 张小川
• 来源期刊: 重庆理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 文本表示 向量空间模型 卡方分布 tf-idf
• 年，卷（期）: 2017,（1）
• 所属期刊栏目: 信息·计算机
• 页码范围: 87-92
• 页数: 6页
• 分类号: TP391
• 字数: 3398字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-8425(z).2017.01.014

摘要

文本表示是将可阅读的文字转换成计算机可识别的数据结构的过程,是文本信息处理领域中关注的基础性问题.针对向量空间模型中文本表示的tf-idf算法仅考虑了词项特征与文档之间的关系,没有考虑与类别关联性的问题,引入数理统计卡方分布方法,以此改进了tf-idf算法,构成为新算法tf-idf-cθ.该算法将词项的卡方分布值c作为文本表示的一个因子,用该c值来衡量词项在文本类中分布的差异,并且引入词性因子θ,得到改进向量空间模型的表示文本.对改进前后的2个算法进行文本分类实验,结果表明:改进后的算法得到了提升,部分解决了词项特征与类别的关联性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张小川	重庆理工大学计算机科学与工程学院	44	178	8.0	9.0
2	张宜浩	重庆理工大学计算机科学与工程学院	20	92	6.0	8.0
3	于旭庭	重庆理工大学计算机科学与工程学院	2	19	2.0	2.0