基于信息熵与词语活跃度的领域词抽取

• 作者: 吕学强 王弘蔚 王成 王涛
• 来源期刊: 北京信息科技大学学报（自然科学版）
• 学科: 工学
• 关键词: 领域词抽取 领域词过滤 信息熵 词语活跃度 知识获取 自然语言处理
• 年，卷（期）: 2011,（5）
• 所属期刊栏目: 研究论文
• 页码范围: 49-52,58
• 分类号: TP391
• 字数: 4861字
• 语种: 中文
• DOI: 10.3969/j.issn.1674-6864.2011.05.011

摘要

提出了一种基于信息墒和词语活跃度的领域词抽取方法,通过对语料进行预处理,提取出候选领域词,计算所有候选领域词的正规化类间分布(NCD)和正规化类内分布(NDD),设置阈值对候选领域词过滤,最后分析了双字候选领域词中包含的常见噪音词语,使用词语活跃度对候选领域词中的双字词语进行过滤,该方法综合考虑了领域词在类别中的概率分布和领域词的内部特征.实验结果表明,该方法在领域词的识别上具有较好的准确率和召回率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王弘蔚	北京信息科技大学中文信息处理研究中心	7	232	3.0	7.0
2	吕学强	北京信息科技大学中文信息处理研究中心	146	1187	15.0	30.0
3	王涛	北京信息科技大学中文信息处理研究中心	19	60	5.0	7.0
4	王成	北京信息科技大学中文信息处理研究中心	2	1	1.0	1.0