跨境电商网站建设方案/搜索引擎营销的五大特点

信息熵：

信息熵的概念很简单，熵在信息论中代表随机变量不确定的度量。

• 熵越大，数据的不确定性越高。
• 熵越小，数据的不确定性越低。

信息熵的公式：

下面的公式就是香农提出的信息熵的公式：
$$H=-\sum _{i=1}^k{p}_{i}log(p_i)$$
解释一下：

• 假如一组数据有k类信息，那么每一个信息所占的比例就是$p_i$。比如鸢尾花数据包含三种鸢尾花的数据，那么每种鸢尾花所占的比例就是$\frac{1}{3}$，那么$p_1$、$p_2$、$p_3$就分别为$\frac{1}{3}$。
• 因为$p_i$只可能是小于1的，所以$log(p_i)$始终是负数。所以需要在公式最前面加负号，让整个熵的值大于0。

信息增益：

信息增益在决策树算法中是用来选择特征的指标，信息增益越大，则这个特征的选择性越好，在概率中定义为：待分类的集合的熵和选定某个特征的条件熵之差。

参考文档：https://www.devtalking.com/articles/machine-learning-15/