基于新词发现的古典文学作品分词方法研究

• 作者: 高嘉琦 赵庆聪
• 来源期刊: 计算机技术与发展
• 关键词: 古典文学 新词发现 分词 互信息 左右熵
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 应用前沿与综合
• 页码范围: 178-181,207
• 页数: 5页
• 分类号: TP301
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2021.09.030

摘要

对于中文文本的分词研究来说,现有的分词方法和技术较多都是针对现代汉语,现代汉语的分词方法和体系已经很成熟,但对古代汉语的研究较少.由于古文的特殊性,将现代汉语的分词方法技术直接用于古汉语时,无法得到分词准确的理想效果,目前对古汉语分词方法的研究还未形成成熟的体系.文中提出一种基于新词发现的古典文学作品分词方法,即从大量古典文学作品语料中发现新词,构建古汉语分词词典,在此基础上再对古文文本进行分词.以《三国演义》古文文本处理为例,验证了基于新词发现的古典文学作品分词方法能有效提高古文分词的准确率.