基于信息熵函数的启发式贝叶斯因果推理

• 作者: 刘洋 王利民 孙铭会
• 来源期刊: 计算机学报
• 关键词: 贝叶斯网络分类器 对数似然函数 联合熵 条件熵 交叉熵
• 年，卷（期）: 2021,（10）
• 页码范围: 2135-2147
• 页数: 13页
• 分类号: TP18
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2021.02135

摘要

贝叶斯网络分类器(BNC)由于其优越的分类性能和可解释性在数据挖掘和人工智能等领域有着广泛的应用.信息论为其迅速发展奠定了坚实的数学理论基础,例如条件互信息被用来度量BNC拓扑结构中属性间的条件依赖关系.然而,贝叶斯网络又被称为因果网络,但目前人工智能等领域中有关贝叶斯网络因果关系的研究是一个很有争议性的课题.属性间因果性的定义远比相关性的定义复杂微妙很多.而条件互信息可能不适用于度量BNC整体拓扑结构对数据的拟合性,并且其表达式的对称性决定了其只能描述属性之间的无向相关性,而非有向因果性.本文从信息熵的角度对贝叶斯网络中的因果关系进行了探索性的研究,首先基于对似然函数定义了联合熵函数与贝叶斯网络拓扑结构中联合概率分布的映射关系,然后在此基础上提出了类条件熵和局部条件熵函数来识别拓扑结构中属性间的因果关系.最后提出了一种基于类标签驱动的启发式结构学习方法来构建可以兼顾有标签数据拟合和无标签数据泛化的BNC(记为HBN).对美国加州大学欧文分校(UCI)机器学习数据库中35个数据集的实验评估表明,本文所提出算法与其它算法相比在分类性能上具有显著优势,例如HBN在0-1损失函数上明显优于CFWNB(17优5劣)、SKDB(14优5劣)、AIWNB(17优7劣);在偏差上HBN与CFWNB相比26优6劣,与SKDB相比10优5劣,与WAODE相比15优7劣,与RF相比29优4劣,与AIWNB相比22优6劣.由于CFWNB、WAODE、AIWNB没有结构学习过程,其拓扑结构不受训练数据扰动的影响.这三种算法的方差显著低于其它算法.而HBN的局部拓扑结构能充分体现测试实例中隐含的因果关系,在一定程度上减轻训练数据过拟合带来的负面影响.因此,与SKDB和RF相比,HBN的方差结果均明显占优(20优9劣,26优3劣).与其他算法相比,HBN的0-1损失函数和偏差结果分别平均提高了6.06％和12.65％.与SKDB和RF相比,HBN的方差结果平均提高了16.49％.HBN为不确定性知识表示和推理提供了一种有效且可行的方法.