福州外贸网站制作/淘宝关键词搜索排行榜

深度学习激活函数可视化：tanh与relu的比较

激活函数是神经网络中非常重要的组成部分，它可以将输入值映射到输出值，并为网络提供非线性性。其中，tanh和relu是两种常用的激活函数，它们在神经网络中具有广泛的应用。本文将通过对这两种激活函数的可视化比较，来详细了解它们之间的异同点。

一、tanh激活函数

tanh（双曲正切）是一种S形函数，它将输入值转换为介于-1和1之间的值。tanh函数具有以下公式：

f(x) = (e^x - e^(-x)) / (e^x + e^(-x))

下面是Python代码中tanh函数的可视化实现：

import numpy as np
import matplotlib.pyplot as pltdef tanh(x):return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))x = np.linspace(-10, 10, 100)
y = tanh(x)plt.plot(x, y)
plt.title("Tanh Activation Function")
plt.show()

通过运行以上代码，我们可以得到如下图所示的tanh激活函数可视化结果：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4JyPucNd-1679233063755)(null)]

从图中可以看出，tanh函数将输入值映射到了-1到1之间的值。当输入值趋近于正无穷时，输出值趋近于1；当输入值趋近于负无穷时，输出值趋近于-1；当输入值为0时，输出值为0。

二、ReLU激活函数

ReLU（修正线性单元&