很多时候我们需要对数据集里面的数据进行标准化和归一化处理。

例如：
X={年龄(年），体重（kg）} 和 X={年龄（年），体重（g）}，虽然逻辑上表达的同样的含义，但是反应在数据上两个分量却是相差特别大。这个时候我们往往希望两个分量的值不会因为量纲不同而差异太大，使得各的分量对模型的影响都差不多。这个时候我们就会使用标准化和归一化技术。另外，使用标准化和归一化技术还可以加速模型的收敛。这是因为试想，在一个特征向量的有两个分量$x_{i}$和$x_{j}$因为量纲的原因导致数值上相差巨大，即$x_{i}>>x_{j}$那么在训练的过程中，模型为了$x_{i}$和$x_{j}$都对结果有同等重要的影响，训练到一定长的时间后，必然会有$x_{j}$的参数远远的大于$x_{i}$；然而这个时间一般特别长。而当数据都进行了标准化，各个分量都差不了好多，顶天也就差一个数量级，此时各个分量的参数调整幅度也就不会相差的太大了，于是就可以加速收敛。

标准化

标准化的方法是只用大数定理将数据转化为一个标准正态分布，标准化公式为：

$$\hat{x_{i}}=\frac{x_{i}-\mu_{i}}{\delta{i}}$$
其中 $x_{i}$是输入向量 $X$的第i个特征，$\mu_{i}$是所有 $x_{i}$的平均值, $\delta_{i}$是这个特征的标准差。

我们注意看公式,可以发现经过标准化处理后,$x_{i}$将不带量纲，这样就可以解决不同特征向量的不同特征因为量纲不同而导致诸多不合理的问题。
另外，使用标准化也特别合理，根据大数定理，当样本量达到一定数目后都可以把他们看做是正态分布了。而很多网络模型对标准正态的数据是及其敏感的，所以标准化后的数据十分利于训练。

注意 标准化后的结果，各个分量的值域是$R$

归一化

归一化的目标是找到某种映射关系，将原数据映射到[a,b]区间上。一般a,b会取[-1,1],[0,1]这些组合。

一般归一化的方法有：

mean-max归一化：映射到[-1,1]

$$\hat{x_{i}}=\frac{x_{i}-\mu_{i}}{x_{max}-x_{min}}$$

min-max 归一化：映射到 [0,1]

$$\hat{x_{i}}=\frac{x_{i}-x_{min}}{x_{max}-x_{min}}$$