MSDL-IEW:面向文本分类的密集度感知主动学习算法

• 作者: TRAN Baphan 马菲菲 明晶晶 余秦勇 杨辉 李全兵 王永利
• 来源期刊: 数据采集与处理
• 关键词: 文本分类 主动学习 隐含狄利克雷分布 不确定性 密集度
• 年，卷（期）: 2021,（2）
• 页码范围: 240-247
• 页数: 8页
• 分类号: TP391
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2021.02.005

摘要

为了解决文本分类任务中未标注数据无法即时标注及成本过高的问题,提出一种面向文本分类的不确定性主动学习方法.提出MSDL(Measure sample density by LDA)算法对未标注样本密集度进行计算,引入新的度量样本聚集情况的密集度计算方式,在密集度高的样本区域选取初始训练集样本,从而使初始训练集更具代表性;从未标注样本中选取更具不确定性的样本加入到训练集中,并基于信息熵对样本进行加权训练,迭代更新分类器模型,直至达到预期终止条件.实验结果表明,在文本分类任务中,该方法相较于其他传统主动学习算法性能更优.