基于SentencePiece的中医学分词模型建模研究

• 作者: 刘双巧 周璐 李彩艳 袁慧敏 张异卓 李昱达 刘锦钢 郑丰杰 孙燕 李宇航
• 来源期刊: 世界中医药
• 关键词: 分词 中文分词 分词模型 无监督学习 无监督分词 SentencePiece
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 思路与方法|Thought &Method
• 页码范围: 981-985,990
• 页数: 6页
• 分类号: R2-03
• 语种: 中文
• DOI: 10.3969/j.issn.1673-7202.2021.06.024

摘要

目的:探索构建适用于中医学领域的分词模型.方法:采用基于SentencePiece的无监督学习分词方法,提出利用出版教材、名家著作及中医临床病历这3种不同类型的文献构建中医学分词模型;选择中医临床病历、名医医案作为测试集进行模型测试.结果:中医学分词模型在测试集中的Kappa系数为0.79(一致性程度很高),准确率为0.84,宏观精确率为0.84,宏观召回率为0.83,宏观f1得分为0.83.结论:所构建的分词模型对于中医学专业术语有着较好的切分效果,表明该方法可运用于中医学领域的分词模型的构建,可为进一步地研究中医学分词提供方法学参考.