基于SVM和词间特征的新词识别研究

• 作者: 徐远方 李成城
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 自然语言处理 支持向量机 新词识别 词间特征
• 年，卷（期）: 2012,（5）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 134-136,140
• 分类号: TP301
• 字数: 2285字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2012.05.035

摘要

中文分词的难点在于处理歧义和识别未登录词,因此对新词的正确识别具有重要作用.文中结合提出的新词词间模式特征以及各种词内部模式特征,对从训练语料中抽取正负样本进行向量化,通过支持向量机的训练得到新词分类支持向量.对测试语料结合绝对折扣法进行新词候选的提取与筛选,并与训练语料中提取的词间模式特征以及各种词内部模式特征进行向量化,得到新词候选向量,最后将训练语料中得到的新词分类支持向量以及对测试语料中得到的新词候选向量结合进行SVM测试,得到最终的新词识别结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐远方	内蒙古师范大学计算机与信息工程学院	3	16	2.0	3.0
2	李成城	内蒙古师范大学计算机与信息工程学院	14	39	4.0	5.0