基于置信度的藏文人名识别的主动学习模型研究

• 作者: 刘飞飞 宋伟 王志娟 赵小兵
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 藏文人名识别 主动学习 置信度
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 民族、跨境及周边语言信息处理
• 页码范围: 53-59
• 页数: 7页
• 分类号: TP391
• 字数: 5325字
• 语种: 中文

摘要

训练语料的标注成本是资源稀缺语言处理研究面临的一个重要问题,通过主动学习(active learning)方法可以选择信息量大、无冗余的语料供人工标注,进而大大降低语料标注成本.该文基于CRF模型给出的标注置信度提出了四种主动学习方法,并通过实验确定了这四种主动学习方法的相关参数.实验显示:选择置信度低于0.7的语料进行人工标注,直到新旧模型标注结果的差异度小于0.01％ 时,仅需6轮迭代;人工标注3.2MB的语料,藏文人名识别的F值可以达到88％,若要达到该识别效果,基于CRF的监督式学习模型需要标注约10MB的语料,该主动学习方法降低了约66％ 的语料标注规模.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵小兵	中央民族大学信息工程学院	21	48	4.0	6.0
3	宋伟	中央民族大学信息工程学院	15	99	6.0	9.0
4	王志娟	中央民族大学信息工程学院	9	37	3.0	6.0