目标变量Y取值yi时的比例记为P{Y=yi},因为表7-5里14个样本中的目标变量Y(用户是否购买)有9个取Yes,即P{Y=Yes}=9/14,5个取No,即P{Y=No}=5/14,所以样本数据S的目标变量Y的信息熵定义为:
2)在自变量A
i
下分裂后,样本数据S的目标变量Y信息熵为何值?
这里先把某一自变量A
2
考虑进去,再来计算样本数据S的信息熵.表7-6为计算自变量A
2
下样本数据S的目标变量Y的信息熵Entropy(S|A
2
)的过程.其中自变量A
2
取a2j值时的比例记为P{A
2
=a2j},此时的样本数据记为S
j
,Entropy(S
j
),表示A
2
取值a2j时的目标变量Y的信息熵