基于CRFs和歧义模型的越南语分词

• 作者: 余正涛 李英 毛存礼 熊明明 郭剑毅
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: 条件随机场模型 越南语分词 词法 基本特征 最大熵 歧义模型
• 年，卷（期）: 2017,（3）
• 页码范围: 636-642
• 页数: 7页
• 分类号: TP301
• 字数: 4755字
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2017.03.024

摘要

通过对越南语词法特点的研究,把越南语的基本特征融入到条件随机场中(Condition random fields,CRFs),提出了一种基于CRFs和歧义模型的越南语分词方法.通过机器标注、人工校对的方式获取了25 981条越南语分词语料作为CRFs的训练语料.越南语中交叉歧义广泛分布在句子中,为了克服交叉歧义的影响,通过词典的正向和逆向匹配算法从训练语料中抽取了5 377条歧义片段,并通过最大熵模型训练得到一个歧义模型,并融入到分词模型中.把训练语料均分为10份做交叉验证实验,分词准确率达到了96.55％.与已有越南语分词工具VnTokenizer比较,实验结果表明该方法提高了越南语分词的准确率、召回率和F值.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	余正涛	昆明理工大学信息工程与自动化学院	122	877	17.0	24.0
5	郭剑毅	昆明理工大学信息工程与自动化学院	76	794	12.0	27.0
9	熊明明	昆明理工大学信息工程与自动化学院	2	3	1.0	1.0
10	毛存礼	昆明理工大学信息工程与自动化学院	21	85	5.0	8.0
14	李英	昆明理工大学信息工程与自动化学院	9	50	4.0	7.0