基于跨语言语料的汉泰词分布表示

• 作者: 何思兰 余正涛 周兰江 张金鹏 线岩团
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 弱监督学习扩展 跨语言语料 跨语言词汇分布表示 神经概率语言模型
• 年，卷（期）: 2015,（12）
• 所属期刊栏目: 自然语言处理
• 页码范围: 2358-2365
• 页数: 8页
• 分类号: TP391
• 字数: 9122字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2015.12.025

摘要

词汇的表示问题是自然语言处理的基础研究内容.目前单语词汇分布表示已经在一些自然语言处理问题上取得很好的应用效果,然而在跨语言词汇的分布表示上国内外研究很少,针对这个问题,利用两种语言名词、动词分布的相似性,通过弱监督学习扩展等方式在中文语料中嵌入泰语的互译词、同类词、上义词等,学习出泰语词在汉泰跨语言环境下的分布.实验基于学习到的跨语言词汇分布表示应用于双语文本相似度计算和汉泰混合语料集文本分类,均取得较好效果.