基于字矩阵交运算的n-grams特征选择加权算法

• 作者: 刘世兴 邱云飞 邵良杉
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 汉语单双字识别 字矩阵 交运算 特征选择 特征加权
• 年，卷（期）: 2016,（22）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 86-92
• 页数: 7页
• 分类号: TP391.1
• 字数: 6041字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1503-0313

摘要

中文文本中，传统的n-grams特征选择加权算法（如滑动窗口法等）存在两点不足：在将每个词进行组合、生成n-grams特征之前必须对每篇文本调用分词接口。无法删除n-grams中的冗余词，使得冗余的n-grams特征对其他有用的n-grams特征产生干扰，降低分类准确率。为解决以上问题，根据汉语单、双字词识别研究理论，将文本转化为字矩阵。通过对字矩阵中元素进行冗余过滤和交运算得到n-grams特征，避免了n-grams特征中存在冗余词的情况，且不需对文本调用任何分词接口。在搜狗中文新闻语料库和网易文本语料库中的实验结果表明，相比于滑动窗口法和其他n-grams特征选择加权算法，基于字矩阵交运算的n-grams特征选择加权算法得到的n-grams特征耗时更短，在支持向量机（Support Vector Machine，SVM）中的分类效果更好。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邵良杉	辽宁工程技术大学系统工程研究所	189	1464	18.0	27.0
2	邱云飞	辽宁工程技术大学软件学院	70	620	13.0	22.0
3	刘世兴	辽宁工程技术大学软件学院	5	16	2.0	4.0