互信息、冗余与广义似然比研究

• 作者: 包成刚 孟平
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 熵 互信息 冗余 广义似然比
• 年，卷（期）: 2014,（2）
• 所属期刊栏目: 信息技术交流
• 页码范围: 325-329
• 页数: 5页
• 分类号: TP391
• 字数: 6849字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2014.02.086

摘要

统计学里有很多描述变量间相关性的方法，大部分都要求随机变量必须服从某一或某些概率分布，要么就是满足一定的假设。互信息是基于熵来测量随机变量间的相关性的，它不需要随机变量满足任何特定分布亦或者是特殊的前提假设。一些研究中，冗余也已经作为一种类似于互信息的方法用以评价变量间的相互关系。对冗余和互信息的概念进行深入研究，并使之用以多维的分类数据。研究发现，在几种独立对数线性模型下，分类数据的互信息和冗余可以表示为广义似然比的函数。广义似然比对样本容量是非常敏感的，但是分类数据的互信息和冗余却并不取决于样本容量而是取决于单元概率。因此互信息和冗余可以用作评价分类数据间的相关关系，既不需要特殊的前提假设又不受样本容量的影响。通过示例验证，针对多维数据，冗余又优于互信息。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孟平	北京理工大学计算机学院	1	1	1.0	1.0
2	包成刚	北京理工大学计算机学院	1	1	1.0	1.0