基于支持向量机和约束条件的新词识别研究

• 作者: 徐远方 李成城
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 新词识别 支持向量机 约束条件 核函数
• 年，卷（期）: 2014,（1）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 98-101
• 页数: 4页
• 分类号: TP301
• 字数: 3666字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2014.01.025

摘要

中文分词的关键技术之一在于如何正确切分新词，文中提出了一种新的识别新词的方法。借助支持向量机良好的分类性，首先对借助分词词典进行分词和词性标注过的训练语料中抽取正负样本，然后结合从训练语料中计算出的各种词本身特征进行向量化，通过支持向量机的训练得到新词分类支持向量。对含有模拟新词的测试语料进行分词和词性标注，结合提出的相关约束条件和松弛变量选取候选新词，通过与词本身特征结合进行向量化后作为输入与通过训练得到的支持向量机分类器进行计算，得到的相关结果与阈值进行比较，当结果小于阈值时判定为一个新词，而计算结果大于阈值的词为非新词。通过实验结果比较选取最合适的支持向量机核函数。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐远方	内蒙古师范大学网络技术学院	3	16	2.0	3.0
2	李成城	内蒙古师范大学网络技术学院	14	39	4.0	5.0