钛学术
文献服务平台
学术出版新技术应用与公共服务实验室出品
首页
论文降重
免费查重
学术期刊
学术导航
任务中心
论文润色
登录
文献导航
学科分类
>
综合
工业技术
科教文艺
医药卫生
基础科学
经济财经
社会科学
农业科学
哲学政法
社会科学II
哲学与人文科学
社会科学I
经济与管理科学
工程科技I
工程科技II
医药卫生科技
信息科技
农业科技
数据库索引
>
中国科学引文数据库
工程索引(美)
日本科学技术振兴机构数据库(日)
文摘杂志(俄)
科学文摘(英)
化学文摘(美)
中国科技论文统计与引文分析数据库
中文社会科学引文索引
科学引文索引(美)
中文核心期刊
cscd
ei
jst
aj
sa
ca
cstpcd
cssci
sci
cpku
默认
篇关摘
篇名
关键词
摘要
全文
作者
作者单位
基金
分类号
搜索文章
搜索思路
钛学术文献服务平台
\
学术期刊
\
工业技术期刊
\
自动化技术与计算机技术期刊
\
自动化学报期刊
\
基于对抗训练策略的语言模型数据增强技术
基于对抗训练策略的语言模型数据增强技术
作者:
张一珂
张鹏远
颜永红
基本信息来源于合作网站,原文需代理用户跳转至来源网站获取
数据增强
语言模型
生成对抗网络
强化学习
语音识别
摘要:
基于最大似然估计(Maximum likelihood estimation, MLE) 的语言模型(Language model, LM) 数据增强方法由于存在暴露偏差问题而无法生成具有长时语义信息的采样数据.本文提出了一种基于对抗训练策略的语言模型数据增强的方法,通过一个辅助的卷积神经网络判别模型判断生成数据的真伪,从而引导递归神经网络生成模型学习真实数据的分布.语言模型的数据增强问题实质上是离散序列的生成问题.当生成模型的输出为离散值时,来自判别模型的误差无法通过反向传播算法回传到生成模型.为了解决此问题,本文将离散序列生成问题表示为强化学习问题,利用判别模型的输出作为奖励对生成模型进行优化,此外,由于判别模型只能对完整的生成序列进行评价,本文采用蒙特卡洛搜索算法对生成序列的中间状态进行评价.语音识别多候选重估实验表明,在有限文本数据条件下,随着训练数据量的增加,本文提出的方法可以进一步降低识别字错误率(Character error rate, CER),且始终优于基于MLE的数据增强方法.当训练数据达到6 M词规模时,本文提出的方法使THCHS 30数据集的CER相对基线系统下降5.0 %,AISHELL数据集的CER相对下降7.1 %.
暂无资源
收藏
引用
分享
推荐文章
基于邻域差分滤波生成式对抗网络的数据增强方法
生成式对抗网络
邻域差分
特征提取
数据增强
基于生成对抗网络的恶意域名训练数据生成
恶意域名
DGA
生成对抗网络
检测
分类
基于CORBA的通信对抗训练仿真系统分析与设计
CORBA
通信对抗训练
事件服务
OMG
基于XML语言和代理模型的翼型通用气动数据库技术
翼型
气动数据库
代理模型
数据库技术
内容分析
文献信息
引文网络
相关学者/机构
相关基金
期刊文献
内容分析
关键词云
关键词热度
相关文献总数
(/次)
(/年)
文献信息
篇名
基于对抗训练策略的语言模型数据增强技术
来源期刊
自动化学报
学科
关键词
数据增强
语言模型
生成对抗网络
强化学习
语音识别
年,卷(期)
2018,(5)
所属期刊栏目
论文与报告
研究方向
页码范围
891-900
页数
10页
分类号
字数
8773字
语种
中文
DOI
10.16383/j.aas.2018.c170464
五维指标
作者信息
序号
姓名
单位
发文数
被引次数
H指数
G指数
1
颜永红
中国科学院声学研究所语言声学与内容理解重点实验室
94
586
14.0
20.0
10
张鹏远
中国科学院声学研究所语言声学与内容理解重点实验室
18
77
6.0
8.0
14
张一珂
中国科学院声学研究所语言声学与内容理解重点实验室
2
11
2.0
2.0
传播情况
被引次数趋势
(/次)
(/年)
引文网络
引文网络
二级参考文献
(19)
共引文献
(108)
参考文献
(7)
节点文献
引证文献
(4)
同被引文献
(20)
二级引证文献
(0)
1985(1)
参考文献(0)
二级参考文献(1)
1992(1)
参考文献(0)
二级参考文献(1)
1997(1)
参考文献(1)
二级参考文献(0)
2004(2)
参考文献(0)
二级参考文献(2)
2006(3)
参考文献(0)
二级参考文献(3)
2008(1)
参考文献(1)
二级参考文献(0)
2009(1)
参考文献(0)
二级参考文献(1)
2012(2)
参考文献(0)
二级参考文献(2)
2013(1)
参考文献(0)
二级参考文献(1)
2014(2)
参考文献(2)
二级参考文献(0)
2016(6)
参考文献(2)
二级参考文献(4)
2017(5)
参考文献(1)
二级参考文献(4)
2018(0)
参考文献(0)
二级参考文献(0)
引证文献(0)
二级引证文献(0)
2019(3)
引证文献(3)
二级引证文献(0)
2020(1)
引证文献(1)
二级引证文献(0)
研究主题发展历程
节点文献
数据增强
语言模型
生成对抗网络
强化学习
语音识别
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
自动化学报
主办单位:
中国自动化学会
中国科学院自动化研究所
出版周期:
月刊
ISSN:
0254-4156
CN:
11-2109/TP
开本:
大16开
出版地:
北京市海淀区中关村东路95号(北京2728信箱)
邮发代号:
2-180
创刊时间:
1963
语种:
chi
出版文献量(篇)
4124
总下载数(次)
26
总被引数(次)
120705
相关基金
国家自然科学基金
英文译名:
the National Natural Science Foundation of China
官方网址:
http://www.nsfc.gov.cn/
项目类型:
青年科学基金项目(面上项目)
学科类型:
数理科学
期刊文献
相关文献
1.
基于邻域差分滤波生成式对抗网络的数据增强方法
2.
基于生成对抗网络的恶意域名训练数据生成
3.
基于CORBA的通信对抗训练仿真系统分析与设计
4.
基于XML语言和代理模型的翼型通用气动数据库技术
5.
基于增量式自学习策略的多语言翻译模型
6.
基于对抗正则化的自然语言推理
7.
数据挖掘的排球训练方案评价模型
8.
语言积累的训练
9.
对抗黑盒攻击的混合对抗性训练防御策略研究
10.
基于多语言预训练语言模型的译文质量估计方法
11.
基于改进模糊综合评判的指挥信息系统对抗训练效果评估
12.
基于邻域差分滤波生成式对抗网络的数据增强方法
13.
视觉支架式策略在自闭症儿童非语言沟通能力训练中的应用
14.
基于全局折扣的统计语言模型平滑技术
15.
面向指挥的模拟训练系统雷达对抗模型
推荐文献
钛学术
文献服务平台
学术出版新技术应用与公共服务实验室出品
首页
论文降重
免费查重
学术期刊
学术导航
任务中心
论文润色
登录
根据相关规定,获取原文需跳转至原文服务方进行注册认证身份信息
完成下面三个步骤操作后即可获取文献,阅读后请
点击下方页面【继续获取】按钮
钛学术
文献服务平台
学术出版新技术应用与公共服务实验室出品
原文合作方
继续获取
获取文献流程
1.访问原文合作方请等待几秒系统会自动跳转至登录页,首次访问请先注册账号,填写基本信息后,点击【注册】
2.注册后进行实名认证,实名认证成功后点击【返回】
3.检查邮箱地址是否正确,若错误或未填写请填写正确邮箱地址,点击【确认支付】完成获取,文献将在1小时内发送至您的邮箱
*若已注册过原文合作方账号的用户,可跳过上述操作,直接登录后获取原文即可
点击
【获取原文】
按钮,跳转至合作网站。
首次获取需要在合作网站
进行注册。
注册并实名认证,认证后点击
【返回】按钮。
确认邮箱信息,点击
【确认支付】
, 订单将在一小时内发送至您的邮箱。
*
若已经注册过合作网站账号,请忽略第二、三步,直接登录即可。
期刊分类
期刊(年)
期刊(期)
期刊推荐
一般工业技术
交通运输
军事科技
冶金工业
动力工程
化学工业
原子能技术
大学学报
建筑科学
无线电电子学与电信技术
机械与仪表工业
水利工程
环境科学与安全科学
电工技术
石油与天然气工业
矿业工程
自动化技术与计算机技术
航空航天
轻工业与手工业
金属学与金属工艺
自动化学报2022
自动化学报2021
自动化学报2020
自动化学报2019
自动化学报2018
自动化学报2017
自动化学报2016
自动化学报2015
自动化学报2014
自动化学报2013
自动化学报2012
自动化学报2011
自动化学报2010
自动化学报2009
自动化学报2008
自动化学报2007
自动化学报2006
自动化学报2005
自动化学报2004
自动化学报2003
自动化学报2002
自动化学报2001
自动化学报2000
自动化学报1999
自动化学报1998
自动化学报2018年第9期
自动化学报2018年第8期
自动化学报2018年第7期
自动化学报2018年第6期
自动化学报2018年第5期
自动化学报2018年第4期
自动化学报2018年第3期
自动化学报2018年第2期
自动化学报2018年第12期
自动化学报2018年第11期
自动化学报2018年第10期
自动化学报2018年第1期
关于我们
用户协议
隐私政策
知识产权保护
期刊导航
免费查重
论文知识
钛学术官网
按字母查找期刊:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他
联系合作 广告推广: shenyukuan@paperpass.com
京ICP备2021016839号
营业执照
版物经营许可证:新出发 京零 字第 朝220126号