基于RNN和Transformer模型的自然语言处理研究综述

• 作者: 李华旭
• 来源期刊: 信息记录材料
• 学科: 工学
• 关键词: 人工智能 自然语言处理 循环神经网络 Transformer
• 年，卷（期）: 2021,（12）
• 所属期刊栏目: 综述与论著
• 页码范围: 7-10
• 页数: 4页
• 分类号: TP15
• 语种: 中文

摘要

现今是高度信息化、智能化的社会,人们的生活早已离不开人工智能,如停车厂的车牌识别、美颜相机的智能滤镜以及机器人、语言翻译等.而在这些智能系统的背后,是人工智能在起着关键的作用,深度学习是人工智能的深层次理论,而本文所研究的自然语言处理则是深度学习的一个主要方向,也是机器学习的重要组成部分.自然语言处理简称NLP(natural language processing),NLP是人工智能方向中专门研究人类语言的,它的研究范围包括各个国家的所用语言,并应用于机器翻译、观点提取、语音识别、自动摘要、文本分类等多个方面.NLP的主要神经网络模型包括RNN(recurrent neural network)、LSTM(long short-term memory)、GRU(gate recurrent unit)、Transformer等.通过结合RNN、LSTM以及Transformer模型来对自然语言处理研究的发展进行说明和探讨.