基于枢轴语言的图像描述生成研究

• 作者: 周国栋 张凯 李军辉
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 图像描述生成 机器翻译 神经网络 枢轴语言
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 自然语言处理应用
• 页码范围: 110-117
• 页数: 8页
• 分类号: TP391
• 字数: 7090字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-0077.2019.03.015

摘要

当前图像描述生成的研究主要仅限于单语言(如英文),这得益于大规模的已人工标注的图像及其英文描述语料.该文探索零标注资源情况下,以英文作为枢轴语言的图像中文描述生成研究.具体地,借助于神经机器翻译技术,该文提出并比较了两种图像中文描述生成的方法:(1)串行法,该方法首先将图像生成英文描述,然后由英文描述翻译成中文描述;(2)构建伪训练语料法,该方法首先将训练集中图像的英文描述翻译为中文描述,得到图像-中文描述的伪标注语料,然后训练一个图像中文描述生成模型.特别地,对于第二种方法,该文还比较了基于词和基于字的中文描述生成模型.实验结果表明,采用构建伪训练语料法优于串行法,同时基于字的中文描述生成模型也要优于基于词的模型,BLEU_4值达到0.341.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周国栋	苏州大学计算机科学与技术学院	138	1425	22.0	32.0
2	李军辉	苏州大学计算机科学与技术学院	25	151	6.0	12.0
3	张凯	苏州大学计算机科学与技术学院	22	42	3.0	6.0