基于自注意力与动态路由的文本建模方法

• 作者: 沈炜域
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 胶囊网络 动态路由 注意力机制 文本建模
• 年，卷（期）: 2019,（1）
• 所属期刊栏目: 软件理论与方法
• 页码范围: 56-60,64
• 页数: 6页
• 分类号: TP301
• 字数: 4354字
• 语种: 中文
• DOI: 10.11907/rjdk.182730

摘要

有别于RNN和CNN, 动态路由与注意力机制为捕捉文本序列的长程和局部依赖关系提供了新思路.为更好地进行文本编码, 尽可能多地保留文本特征、增加特征多样性, 基于动态路由与注意力机制的思想, 整合胶囊网络和自注意力网络的语言信息特征抽取能力, 构建一种深度网络模型CapSA, 并通过3种不同领域的文本分类实验验证模型效果.实验结果显示, 相较于几种基于RNN或CNN的模型, 基于CapSA模型的文本分类模型取得了更高的F1值, 表明该模型具有更好的文本建模能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沈炜域	中国人民公安大学信息技术与网络安全学院	3	4	1.0	2.0