基于向量空间模型的文本过滤系统

• 作者: 吴立德 夏迎炬 黄萱菁
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 文本检索 文本过滤 文本分类 机器学习 向量空间模型
• 年，卷（期）: 2003,（3）
• 所属期刊栏目: 模式识别与人工智能
• 页码范围: 435-442
• 页数: 8页
• 分类号: TP181
• 字数: 6199字
• 语种: 中文

摘要

文本过滤是指从大量的文本数据流中寻找满足特定用户需求的文本的过程.首先从任务、测试主题、语料库和评测指标等方面介绍了文本检索领域最权威的国际评测会议--文本检索会议(TREC)及其中的文本过滤项目,然后详细地描述了基于向量空间模型的文本过滤系统.该系统由训练和自适应过滤两个阶段组成.在训练阶段,通过特征抽取和伪反馈建立初始的过滤模板,并设置初始阈值;在过滤阶段,则根据用户的反馈信息自适应地调整模板和阈值.该系统参加了2000年举行的第9次文本检索会议的评测,取得了很好的成绩,在来自多个国家的15个系统中名列前茅,其中自适应过滤和批过滤的平均准确率分别为26.5%和31.7%.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴立德	复旦大学计算机科学与工程系	78	2759	24.0	52.0
2	黄萱菁	复旦大学计算机科学与工程系	49	2106	18.0	45.0
3	夏迎炬	复旦大学计算机科学与工程系	4	308	3.0	4.0