基于非参数贝叶斯模型和深度学习的古文分词研究

• 作者: 俞敬松 张永伟 杨浩 魏一
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 古文分词 非参数贝叶斯模型 深度学习 无指导学习 弱指导学习
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 语言分析与计算
• 页码范围: 1-8
• 页数: 8页
• 分类号: TP391
• 字数: 6133字
• 语种: 中文

摘要

古汉语文本中,汉字通常连续书写,词与词之间没有明显的分割标记,为现代人理解古文乃至文化传承带来许多障碍.自动分词是自然语言处理技术的基础任务之一.主流的自动分词方法需要大量人工分词语料训练,费时费力,古文分词语料获取尤其困难,限制了主流自动分词方法的应用.该文将非参数贝叶斯模型与BERT(Bidirectional Encoder Representations from Transformers)深度学习语言建模方法相结合,进行古文分词研究.在《左传》数据集上,该文提出的无监督多阶段迭代训练分词方法获得的F 1值为93.28％;仅使用500句分词语料进行弱监督训练时,F 1值可达95.55％,高于前人使用6/7语料(约36000句)进行有监督训练的结果;使用相同规模训练语料时,该文方法获得的F 1值为97.40％,为当前最优结果.此外,该文方法还具有较好的泛化能力,模型代码已开源发布.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨浩	北京大学儒藏编纂与研究中心	36	77	5.0	8.0
2	俞敬松	北京大学软件与微电子学院	14	43	3.0	6.0
3	张永伟	中国社会科学院语言研究所	8	5	2.0	2.0
4	魏一	北京大学软件与微电子学院	2	3	1.0	1.0