基于PAT TREE统计语言模型与关键词自动提取

• 作者: 李星 杨文峰
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: PAT Tree 信息检索 统计语言模型 关键词提取
• 年，卷（期）: 2001,（15）
• 所属期刊栏目: 博士论坛
• 页码范围: 17-19，35
• 页数: 4页
• 分类号: TP39
• 字数: 5544字
• 语种: 中文
• DOI: 10.3321/j.issn:1002-8331.2001.15.006

摘要

未登录关键词的识别是中文信息处理中的一个关键问题.文章利用PAT TREE实现了一种可变长统计语言模型,由于不存在n元统计语言模型的截断效应,从而对待提取的关键词的长度没有限制.在该模型的基础上,通过相关性检测,从540M汉语语料中自动提取出了12万个关键词候选字串.最后,经过分析和筛选,候选字串的准确度由82.3%上升到96.1%.实验表明,基于PAT TREE的统计语言模型是实现未登录词提取的有力工具.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李星	清华大学电子工程系	163	2416	25.0	45.0
2	杨文峰	清华大学电子工程系	4	171	4.0	4.0