基于新词发现与词典信息的古籍文本分词研究

• 作者: 李筱瑜
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 古籍文本 分词 互信息 邻接熵 新词发现
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 软件理论与方法
• 页码范围: 60-63
• 页数: 4页
• 分类号: TP301
• 字数: 4014字
• 语种: 中文
• DOI: 10.11907/rjdk.182867

摘要

现代汉语分词虽已取得较大进展,但是古籍文本分词由于受到古代汉语词汇特征、语义、语法等限制,始终没有形成一种行之有效的方法.通过互信息与邻接熵的新词发现方法从《汉书》中寻找未登录词,结合古代汉语词汇表、古代人名词表和古代地名表构建古籍文本分词词典,以此为基础,使用pyNLPIR对《汉书》进行分词操作.实验结果显示,新词发现方法可以在一定程度上完善古籍文本分词所需的用户词典全面性,但是对3字以上的词语识别效果较差.实验证明使用新词发现结合词典信息的方法对古籍文本进行分词能够有效提高古代汉语分词准确度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李筱瑜	北京信息科技大学经济管理学院	1	2	1.0	1.0