您现在的位置是:主页 > news > 淘宝网站建设方案/百度地图的精准定位功能

淘宝网站建设方案/百度地图的精准定位功能

admin2025/5/9 13:02:09news

简介淘宝网站建设方案,百度地图的精准定位功能,网站架构计划书,网站制作公司哪家好原文博客:Doi技术团队 链接地址:https://blog.doiduoyi.com/authors/1584446358138 初心:记录优秀的Doi技术团队学习经历 目录 文章目录目录随机变量概率分布边缘概率条件概率独立性和条件独立性数学期望方差协方差协方差矩阵常用的概率分布B…

淘宝网站建设方案,百度地图的精准定位功能,网站架构计划书,网站制作公司哪家好原文博客:Doi技术团队 链接地址:https://blog.doiduoyi.com/authors/1584446358138 初心:记录优秀的Doi技术团队学习经历 目录 文章目录目录随机变量概率分布边缘概率条件概率独立性和条件独立性数学期望方差协方差协方差矩阵常用的概率分布B…

原文博客:Doi技术团队
链接地址:https://blog.doiduoyi.com/authors/1584446358138
初心:记录优秀的Doi技术团队学习经历

目录

文章目录

  • 目录
  • 随机变量
    • 概率分布
  • 边缘概率
  • 条件概率
  • 独立性和条件独立性
  • 数学期望
  • 方差
  • 协方差
    • 协方差矩阵
  • 常用的概率分布
    • Bernoulli 分布
    • Multinoulli 分布
    • 高斯分布
  • 常用函数
    • logistic sigmoid函数
    • softplus 函数
  • 参考资料

随机变量

随机变量(random variable)是可以随机地取不同值的变量.随机变量是可以离散的或者连续的,离散随机变量拥有有限或可数无限多的状态,连续随机变量伴随这实数值的.


概率分布

概率分布(probability distribution)用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小.
概率质量函数(probability mass function,PMF):离散型变量的概率分布可以用概率质量函数来描述,通常使用PPP表示概率质量函数
概率质量函数可以同时作用于多个随机变量.这种多个变量的概率分布被称为联合概率分布(joint probability distribution).P(x=x,y=y)P({\bf x}=x,{\bf y}=y)P(x=x,y=y)表示x=x{\bf x}=xx=xy=y{\bf y}=yy=y同时发生的概率

一个函数PPP是随机变量xxx的PMF,必须满足以下条件:

  1. PPP的定义域必须是xxx所有可能状态的集合
  2. ∀x∈x,0≤P(x)≤1\forall x \in {\bf x},0 \leq P(x) \leq 1xx,0P(x)1 不可能发生的事件概率为0,一定发生的事件概率为1
  3. ∑x∈xP(x)=1\sum _{x \in {\bf x}}P(x) = 1xxP(x)=1这条性质称为归一化(normalized)

如果一个离散型随机变量x{\bf x}xkkk不同的状态,如果每个每个状态的可能性都是相同的(均匀分布(uniform distribution)),那它的PMF为:
P(x=xi)=1k(1)P({\bf x}=x_i) = \frac{1}{k}\tag{1}P(x=xi)=k1(1)
因为kkk是一个正整数,所以1k\frac {1}{k}k1也是正的,通过下列计算:
∑iP(x=xi)=∑i1k=kk=1(2)\sum _i P({\bf x}=x_i) = \sum _i \frac{1}{k} = \frac{k}{k} = 1\tag{2}iP(x=xi)=ik1=kk=1(2)
所以均匀分布也是满足归一化条件的


边缘概率

边缘概率分布(marginal probability distribution):如果我们知道了一组变量的联合概率分布,但想要了解其中一个子集的概率分布,这个子集的概率分布称为边缘概率分布


条件概率

条件概率:在其他事件发生的条件想该事件发生的概率.计算公式如下P(x=x)>0P({\rm x}=x) > 0P(x=x)>0:
P(x=x∣y=y)=P(x=x,y=y)P(x=x)(3)P({\rm x}=x | {\rm y}=y) = \frac{P({\rm x}=x,{\rm y}=y)}{P({\rm x}=x)}\tag{3}P(x=xy=y)=P(x=x)P(x=x,y=y)(3)
例题
在一汽车工厂中,一辆汽车有两道工序是由机器人完成的,其一是紧固3只螺栓,其二是焊接2处焊点。以XXX表示由机器人紧固的螺栓紧固得不良的数目,以YYY表示由机器人焊接的不良焊点数目。据积累的资料知(X,Y)(X,Y)(X,Y)具有分布律:

Y\X0123P{Y=j}
00.8400.0300.0200.0100.900
10.0600.0100.0080.0020.080
20.0100.0050.0040.0010.020
P{X=i}0.9100.0450.0320.0131.000

求在X=1X=1X=1的条件下,YYY的条件分布律
P{Y=0∣X=1}=P{X=1,Y=0}P{X=1}=0.0300.045P\{Y=0|X=1\}=\frac{P\{X=1,Y=0\}}{P\{X=1\}}=\frac{0.030}{0.045}P{Y=0X=1}=P{X=1}P{X=1,Y=0}=0.0450.030
P{Y=1∣X=1}=P{X=1,Y=1}P{X=1}=0.0100.045(4)P\{Y=1|X=1\}=\frac{P\{X=1,Y=1\}}{P\{X=1\}}=\frac{0.010}{0.045}\tag{4}P{Y=1X=1}=P{X=1}P{X=1,Y=1}=0.0450.010(4)
P{Y=2∣X=1}=P{X=1,Y=2}P{X=1}=0.0050.045P\{Y=2|X=1\}=\frac{P\{X=1,Y=2\}}{P\{X=1\}}=\frac{0.005}{0.045}P{Y=2X=1}=P{X=1}P{X=1,Y=2}=0.0450.005


独立性和条件独立性

相互独立(independent):两个随机变量x和y,如果他们的概率分布可以表示成两个因子的乘积形式,并且一个因子只包含x,另一个因子只包含y,我们就能称这两随机变量是相互独立的.计算如下:
∀x∈x,y∈y,p(x=x,y=y)=p(x=x)p(y=y)(5)\forall x \in {\rm x},y \in {\rm y},p({\rm x} = x,{\rm y} = y)=p({\rm x} = x)p({\rm y} = y\tag{5})xx,yy,p(x=x,y=y)=p(x=x)p(y=y)(5)
例题
实验EEE为“抛甲、乙两枚硬币,观察正(H)反(T)面出现的情况”。设事件AAA为“甲币出现H”,事件B为“乙币出现H”。EEE的样本空间:
S={HH,HT,TH,TT}(6)S=\{HH,HT,TH,TT\}\tag{6}S={HHHTTHTT}(6)
即:
P(A)=24=12,P(B)=24=12P(B∣A)=12,P(AB)=14(7)P(A)=\frac{2}{4}=\frac{1}{2},P(B)=\frac{2}{4}=\frac{1}{2} \\ P(B|A)=\frac{1}{2},P(AB)=\frac{1}{4}\tag{7}P(A)=42=21P(B)=42=21P(BA)=21P(AB)=41(7)
由上可得P(B∣A)=P(B)P(B|A)=P(B)P(BA)=P(B),而P(AB)=P(A)P(B)P(AB)=P(A)P(B)P(AB)=P(A)P(B)。所以我们知道甲币是否出现正面与乙币是否出现正面是互不影响的。

条件独立(conditionally independent):如果关于x和y的条件概率分布对于zzz的每一个值都可以写成乘积的形式那么这两个随机变量x和y子在给定随机变量zzz时是条件独立的,计算如下:
∀x∈x,y∈y,z∈z,p(x=x,y=y∣z=z)=p(x=x∣z=z)p(y=y∣z=z)(8)\forall x \in {\rm x},y \in {\rm y},z \in {\rm z},p({\rm x} = x,{\rm y} = y | {\rm z} = z)=p({\rm x } = x | {\rm z} = z)p({\rm y} = y | {\rm z} = z)\tag{8}xx,yy,zz,p(x=x,y=yz=z)=p(x=xz=z)p(y=yz=z)(8)


数学期望

设离散型随机变量XXX的分布律如下:
P{X=xk}=px,k=1,2,3,…(9)P\{X=x_k\}=p_x,k=1,2,3,\ldots\tag{9}P{X=xk}=px,k=1,2,3,(9)
若是级数绝对收敛,则称级数∑k=1∞xkpk\sum_{k=1}^\infty x_k p_kk=1xkpk的和为随机变量XXX的数学期望,记作E(X)E(X)E(X),公式如下:
E(X)=∑k=1∞xkpk(10)E(X)=\sum_{k=1}^\infty x_k p_k\tag{10}E(X)=k=1xkpk(10)
设连续型随机变量XXX的概率密度为f(x)f(x)f(x),若为积分绝对收敛,则称积分∫−∞∞xf(x)dx\int_{-\infty}^\infty xf(x)dxxf(x)dx的值为随机变量XXX的数学期望,记作E(X)E(X)E(X),公式如下:
E(X)=∫−∞∞xf(x)dx(11)E(X)=\int_{-\infty}^\infty xf(x)dx\tag{11}E(X)=xf(x)dx(11)
数学期望简称期望,又称均值.
数学期望E(X)E(X)E(X)完全由随机变量XXX的概率分布所确定的,若XXX从某一分布,也称为E(X)E(X)E(X)是这一分布的数学期望
离散型例题
某医院当新生儿诞生时,医生要根据婴儿的皮肤颜色、肌肉弹性、反应的敏感性、心脏的搏动等方面的情况进行评分,新生儿的得分XXX是一个随机变量,根据以往资料表明XXX的分布律为:
| X| 0|1|2|3|4|5|6|7|8|9|10|
|:—😐:—😐:—😐:—😐:—😐:—😐
| pkp_kpk | 0.002|0.001|0.002|0.005 | 0.02|0.04|0.18|0.37|0.25|0.12|0.01|
XXX的数学期望E(X)E(X)E(X)
E(X)=0×0.002+1×0.001+2×0.002+3×0.005+4×0.02+5×0.04+6×0.18+7×0.37+8×0.25+9×0.12+10×0.01=7.15E(X)=0\times0.002+1\times0.001+2\times0.002+3\times0.005+4\times0.02+\\ 5\times0.04+6\times0.18+7\times0.37+8\times0.25+9\times0.12+10\times0.01=7.15E(X)=0×0.002+1×0.001+2×0.002+3×0.005+4×0.02+5×0.04+6×0.18+7×0.37+8×0.25+9×0.12+10×0.01=7.15
连续型例题
有两个相互独立工作的电子装置,它们的寿命(以小时计)Xk=(k=1,2)X_k=(k=1,2)Xk=(k=1,2)服从同一指数分布,其概率密度为:
f(x)={1θe−x/θ,x>00,x≤0,θ>0(12)f(x)=\left\{\begin{matrix}\frac{1}{\theta}e^{-x/\theta},& x > 0 \\ 0,& x \leq0\end{matrix}\right., \quad \theta > 0\tag{12}f(x)={θ1ex/θ0x>0x0,θ>0(12)
若将这两个电子装置串联连接组成整机,求整机寿命(以小时计)NNN的数学期望。
解:Xk(k=1,2)X_k(k=1,2)Xk(k=1,2)的分布函数为:
F(x)={1−e−x/θ,x>00,x≤0(12)F(x)=\left\{\begin{matrix}1-e^{-x/\theta},& x > 0 \\ 0,& x \leq0\end{matrix}\right.\tag{12}F(x)={1ex/θ0x>0x0(12)
N=min⁡{X1,X2}N=\min\{X_1,X_2\}N=min{X1,X2}的分布函数
Fmin⁡(x)=1−[1−F(x)]2={1−e−2x/θ,x>00,x≤0(13)F_{\min}(x)=1-[1-F(x)]^2=\left\{\begin{matrix}1-e^{-2x/\theta},& x > 0 \\ 0,& x \leq0\end{matrix}\right.\tag{13}Fmin(x)=1[1F(x)]2={1e2x/θ0x>0x0(13)
因而NNN的概率密度为:
fmin⁡(x)={2θe−2x/θ,x>00,x≤0(14)f_{\min}(x)=\left\{\begin{matrix}\frac{2}{\theta}e^{-2x/\theta},& x > 0 \\ 0,& x \leq0\end{matrix}\right.\tag{14}fmin(x)={θ2e2x/θ0x>0x0(14)
于是NNN的数学期望为:
KaTeX parse error: Got function '\min' with no arguments as subscript at position 32: …ty} ^\infty xf_\̲m̲i̲n̲(x)dx=\int_0^\i…


方差

方差(variance)设XXX是一个随机变量,若E{[X−E(X)]2}E\{[X-E(X)]^2\}E{[XE(X)]2}存在,则称E{[X−E(X)]2}E\{[X-E(X)]^2\}E{[XE(X)]2}XXX的方差,记为D(X)D(X)D(X)Var(X)Var(X)Var(X),即:
D(X)=Var(X)=E{[X−E(X)]2}(16)D(X)=Var(X)=E\{[X-E(X)]^2\}\tag{16}D(X)=Var(X)=E{[XE(X)]2}(16)
如果方差很小是,XXX的值形成的簇比较接近它们的数学期望.方差的平方根D(X)\sqrt{D(X)}D(X)称为标准差(standard deviation)或均方差(mean square deviation)
XXX为离散型随机变量时:
D(X)=∑k=1∞[xk−E(X)]2pk(17)D(X)=\sum_{k=1}^\infty[x_k-E(X)]^2p_k\tag{17}D(X)=k=1[xkE(X)]2pk(17)
XXX为连续型随机变量时:
D(X)=∫−∞∞[x−E(X)]2f(x)dx(18)D(X)=\int_{-\infty}^\infty[x-E(X)]^2f(x)dx\tag{18}D(X)=[xE(X)]2f(x)dx(18)


协方差

E{[X−E(X)][Y−E(Y)]}E\{[X-E(X)][Y-E(Y)]\}E{[XE(X)][YE(Y)]}称为随机变量X与Y的协方差(covariance),记作Cov(X,Y)Cov(X,Y)Cov(X,Y),公式如下:
Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}(19)Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}\tag{19}Cov(X,Y)=E{[XE(X)][YE(Y)]}(19)

ρxy=Cov(X,Y)D(X)D(Y)(20)\rho_{xy}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\tag{20}ρxy=D(X)D(Y)Cov(X,Y)(20)
称为随机变量XXXYYY相关系数(correlation)


协方差矩阵

二维随机变量(X1,X2)(X_1,X_2)(X1,X2)有四个二阶中心矩(设它们都存在),分别记为:
c11=E{[X1−E(X1)]2}c12=E{[X1−E(X1)][X2−E(X2)]}c21=E{[X2−E(X2)][X1−E(X1)]}c22=E{[X2−E(X2)]2}(21)c_{11} = E\{[X_1-E(X_1)]^2\} \\ c_{12} = E\{[X_1-E(X_1)][X_2-E(X_2)]\} \\ c_{21} = E\{[X_2-E(X_2)][X_1-E(X_1)]\} \\ c_{22} = E\{[X_2-E(X_2)]^2\} \tag{21} c11=E{[X1E(X1)]2}c12=E{[X1E(X1)][X2E(X2)]}c21=E{[X2E(X2)][X1E(X1)]}c22=E{[X2E(X2)]2}(21)
将它们排列成矩阵的形式:
(c11c12c21c22)(22)\left( \begin{matrix} c_{11} & c_{12} \\ c_{21} & c_{22} \end{matrix} \right) \tag{22} (c11c21c12c22)(22)
这个矩阵称为随机变量(X1,X2)(X_1,X_2)(X1,X2)协方差矩阵(covariance matrix)


常用的概率分布

Bernoulli 分布

Bernoulli 分布(Bernoulli distribution)是单个二值随机变量的分布,它由单个参ϕ∈[0,1]\phi \in [0,1]ϕ[0,1]控制,ϕ\phiϕ给出了随机变量等于1的概率.

Multinoulli 分布

Multinoulli 分布(multinoulli distribution)或者范畴分布(categorical distribution)是指在具有kkk个不同状态的单个离散随机变量上的分布,其中kkk是一个有限值.

高斯分布

高斯分布(Gaussian distribution)也叫正态分布(normal distribution):
KaTeX parse error: Undefined control sequence: \cal at position 2: {\̲c̲a̲l̲ ̲N}(x;\mu,\sigma…
μ=0,σ=1\mu=0,\sigma=1μ=0,σ=1是,这个我们称为标准正态分布(standard normal distribution)


常用函数

logistic sigmoid函数

公式:
σ(x)=11+exp(−x)(24)\sigma(x)=\frac{1}{1+{\rm exp}(-x)}\tag{24}σ(x)=1+exp(x)1(24)
logistic sigmoid函数图

这里写图片描述
*图片来自网络

softplus 函数

公式:
ς(x)=log⁡(1+exp⁡(x))(25)\varsigma(x)=\log(1+\exp(x))\tag{25}ς(x)=log(1+exp(x))(25)
softplus函数名来源于它是另一个函数的平滑(或"软化")形式,这个函数是:
x+=max⁡(0,x)x^+=\max(0,x)x+=max(0,x)
softplus函数的图
softplus函数图
*图片来自网络


参考资料

  1. lan Goodfellow,Yoshua Bengio,Aaron Courville.深度学习(中文版).赵申剑,黎彧君,符天凡,李凯,译.北京:人民邮电出版社
  2. 浙江大学,盛骤,谢式千,潘承毅.工程数学-概率论与数理统计(第四版).北京:高等教育出版社