基于层级注意力模型的无监督文档表示学习

• 作者: 徐林莉 欧阳文俊
• 来源期刊: 计算机系统应用
• 关键词: 文档表示 词嵌入 注意力 层级 无监督学习 文档分类
• 年，卷（期）: 2018,（9）
• 所属期刊栏目: 专论·综述
• 页码范围: 40-46
• 页数: 7页
• 字数: 6404字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.006533

摘要

许多自然语言应用需要将输入的文本表示成一个固定长度的向量, 现有的技术如词嵌入 (Word Embeddings)和文档表示(Document Representation)为自然语言任务提供特征表示, 但是它们没有考虑句子中每个单词的重要性差别, 同时也忽略一个句子在一篇文档中的重要性差别. 本文提出一个基于层级注意力机制的文档表示模型(HADR), 而且考虑文档中重要的句子和句子中重要的单词因素. 实验结果表明, 在考虑了单词的重要和句子重要性的文档表示具有更好的性能. 该模型在文档(IMBD)的情感分类上的正确率高于Doc2Vec和Word2Vec模型.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	欧阳文俊	中国科学技术大学计算机科学与技术学院	1	1	1.0	1.0
2	徐林莉	中国科学技术大学计算机科学与技术学院	3	12	1.0	3.0