熵、交叉熵与KL散度
科研
2025/7/2
熵
熵(Entropy)是概率论中的一个概念,用于度量概率分布的混乱程度。熵越小,概率分布越均匀,越容易预测。
熵的计算公式为: