结合文本聚类和文本检索的语料选取方法

• 作者: 丁晓青 何峰
• 来源期刊: 高技术通讯
• 学科: 工学
• 关键词: 文本聚类 文本检索 Kullback-Leibler距离 统计语言模型
• 年，卷（期）: 2010,（12）
• 页码范围: 1224-1228
• 分类号: TP3
• 字数: 5091字
• 语种: 中文
• DOI: 10.3772/j.issn.1002-0470.2010.12.003

摘要

为了克服用应用相关的文本数据进行语音识别、智能输入等各种自然语言处理中在有些情况下因很难收集到充足的相关数据和缺乏应用相关的训练数据带来的困难,提出了一种通过结合非监督文本聚类和文本检索技术实现相关语料选取的新方法.该方法仅使用少量与特定应用相关的文本,即可从未经整理的大规模语料库中发现更多与此应用相关的文本.利用该方法在手机短信文本和未经整理的大规模语料库上进行了实验,实验结果表明该方法能够有效提取应用相关的文本.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	丁晓青	清华大学电子工程系	86	2062	24.0	44.0
2	何峰	清华大学电子工程系	3	7	2.0	2.0