基于外部排序的字串左右熵快速计算方法

• 作者: 张海军 彭成 栾静
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 自然语言处理 左右熵 统计特征 新词检测
• 年，卷（期）: 2011,（19）
• 所属期刊栏目: 博士论坛
• 页码范围: 18-20
• 分类号: TP391
• 字数: 4760字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2011.19.006

摘要

左右熵在自然语言处理领域有着广泛应用,但目前尚无有效方法实施大规模语料中海量模式的左右熵快速计算.提出了一种计算方法,对于某长度字串计算熵,首先按长度提取语料中的全部字串,使用外部排序和归并获取字串的出现频率,然后分别剔除首尾字符构造待计算字串的频率提供文件,最后使用文件记录频率对比来计算右熵和左熵.分析和实验表明,该方法的计算量同语料规模成线性关系,适于大规模语料中海量字串的左右熵计算.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	彭成	新疆师范大学计算机科学技术学院	9	8	2.0	2.0
2	栾静	新疆师范大学计算机科学技术学院	27	159	4.0	12.0
3	张海军	新疆师范大学计算机科学技术学院	23	155	5.0	12.0