基于BiLSTM_CRF模型的藏文分词方法

• 作者: 杨鸿武 王宏渊 王莉莉 白玛曲珍
• 来源期刊: 重庆邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: 文本分词 长短时计忆网络 深度神经网络 词向量 民族语言
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 计算机与自动化
• 页码范围: 648-654
• 页数: 7页
• 分类号: TP391.1|TN912.33
• 字数: 4631字
• 语种: 中文
• DOI: 10.3979/j.issn.1673-825X.2020.04.018

摘要

藏文分词是实现藏文语音合成和藏文语音识别的关键技术之一.提出一种基于双向长短时记忆网络加条件随机场(bidirectional long-short-term memory with conditional random field model,BiLSTM_CRF)模型的藏文分词方法.对手工分词的语料经过词向量训练后输入到双向长短时记忆网络(bidirectional long-short-term memory,BiL-STM)中,将前向长短时记忆网络(long-short-term memory,LSTM)和后向LSTM学习到的过去输入特征和未来输入特征相加,传入到线性层和softmax层进行非线性操作得到粗预测信息,再利用条件随机场(conditional random field,CRF)模型进行约束性修正,得到一个利用词向量和CRF模型优化的藏文分词模型.实验结果表明,基于BiLSTM_CRF模型的藏文分词方法可取得较好的分词效果,分词准确率可达94.33％,召回率为93.89％,F值为94.11％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨鸿武	西北师范大学物理与电子工程学院	55	308	11.0	14.0
4	王宏渊	西北师范大学物理与电子工程学院	7	27	3.0	5.0
5	王莉莉	西北师范大学物理与电子工程学院	2	1	1.0	1.0
12	白玛曲珍	西北师范大学物理与电子工程学院	1	0	0.0	0.0