基于大规模语料库的汉语词义相似度计算方法

• 作者: 吕学强 吴云芳 石静 邱立坤
• 来源期刊: 中文信息学报
• 学科: 工学
• 关键词: 词义相似度 上下文特征 权值选择 依存关系
• 年，卷（期）: 2013,（1）
• 页码范围: 1-6,80
• 页数: 7页
• 分类号: TP391
• 字数: 5804字
• 语种: 中文

摘要

词义相似度的计算是自然语言处理领域的关键问题之一,它在信息检索中的查询扩展、机器翻译中的模块识别,以及句法分析、词义消歧等任务中都发挥着重要的作用.该文研究了基于大规模语料库的汉语词义相似度计算方法,系统地比较分析了上下文特征权值的选择、向量相似度计算方法、基于窗口和基于依存关系的表征形式、新闻语体和网络语体的差异.实验结果表明,在网络语言语料上,基于窗口选取上下文特征,用互信息PMI来计算权值,采用cosine来计算相似度,取得了最好的词义相似度结果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴云芳	北京大学计算语言学研究所	32	493	13.0	22.0
2	吕学强	北京信息科技大学网络文化与数字传播北京市重点实验室	146	1187	15.0	30.0
3	邱立坤	鲁东大学文学院	8	78	4.0	8.0
4	石静	北京大学计算语言学研究所	4	66	2.0	4.0