中文高频词串的抽取及其在语言模型中的应用

• 作者: 文娟 王小捷
• 来源期刊: 北京邮电大学学报
• 学科: 工学
• 关键词: 中文高频词串 字区分度 字串切分度 n元模型 音字转换
• 年，卷（期）: 2009,（5）
• 所属期刊栏目: 论文
• 页码范围: 10-14
• 页数: 5页
• 分类号: TP391.1
• 字数: 4603字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-5321.2009.05.003

摘要

为准确抽取语料库中的高频词串,使其能更好地应用于语言模型中,提出了一种基于字串切分度的中文高频词串(CFS)抽取算法,并用该算法抽取出的CFS分别建立一元和二元语言模型.实验表明,基于CFS的语言模型能有效克服现有基于字和词的n元语法模型长距离相依性能较差的缺陷;同时,在模型困惑度、音字转换正确率上均优于已有基于净频次的CFS语言模型.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王小捷	北京邮电大学智能科学技术研究中心	35	179	8.0	11.0
2	文娟	北京邮电大学智能科学技术研究中心	2	26	2.0	2.0