信息增益 (Information Gain)

定义

信息增益(Information Gain)是决策树学习中衡量特征区分能力的经典指标,定义为按某特征划分数据前后信息熵的减少量,即经验熵与条件熵之差,等价于特征与类别标签之间的互信息。

原理

熵度量类别分布的不确定性:分布越混杂熵越高。若按某特征划分后各子集的类别更纯,条件熵就更低,信息增益随之更大,说明该特征提供了更多分类信息。ID3 算法在每个节点贪心地选择信息增益最大的特征进行分裂。

缺陷与改进

信息增益偏向取值数目多的特征(极端如按 ID 列划分可使熵降为零但毫无泛化意义)。C4.5 改用增益率(信息增益除以特征自身的分裂信息)校正该偏差;CART 则改用基尼指数,计算更快且效果相近。

其他应用

信息增益也常用作文本分类等任务的特征选择指标,筛选与标签互信息最高的特征子集。