概率统计随机过程之条件期望与重期望公式
Apr 18, 2022 · 概率统计随机过程
·
分享到:
概率统计随机过程之条件期望与重期望公式
之前对条件期望的理解有一些偏差，现在重新看了下条件期望的内容与重期望公式。注意（X|Y）的条件期望实际上是关于Y的函数，而重期望公式则与分区加权求和有着本质联系，提供了求X期望的另一种方式。
条件数学期望
重期望公式
随机个随机变量和的数学期望
条件期望的其他推论
条件数学期望
如果我们对条件分布求期望，则称为条件数学期望。在离散分布列和连续密度函数的定义方式如下，以二维举例：
\(X\)关于\(Y=y\)的条件期望： \[E(X|Y=y)=\begin{cases}\sum\limits_i x_iP(X=x_i|Y=y),\qquad(X,Y)为二维离散随机变量\\
\int_{-\infty}^{\infty}xp(x|y)\mathrm{d}x,\qquad(X,Y)为二维连续随机变量\end{cases}\tag{1}\]
\(Y\)关于\(X=x\)的条件期望： \[E(Y|X=x)=\begin{cases}\sum\limits_i y_iP(Y=y_i|X=x),\qquad(X,Y)为二维离散随机变量\\
\int_{-\infty}^{\infty}yp(y|x)\mathrm{d}y,\qquad(X,Y)为二维连续随机变量\end{cases}\tag{2}\]
注意，\(E(X|Y=y)\)是在\(y\)为特定值时，对\(x\)求和/积分，抹去了\(x\)的随机性，得到一个关于\(y\)的函数。同理，\(E(Y|X=x)\)抹去的是\(y\)的随机性，得到一个关于\(x\)的函数。
条件期望\(E(X|Y=y)\)和无条件期望\(E(X)\)的一大区别是，\(E(X)\)是一个数，而条件期望\(E(X|Y)\)是一个函数\(g(y)\)。
举个例子，如用\(X\)表示中国成年人的身高，则\(E(X)=170\)表示中国成年人的平均身高为170 cm，是一个具体的数字。若用\(Y\)表示中国成年人的足长，则\(E(X|Y=y)\)表示足长为\(y\)的中国成年人的平均身高，根据研究可知 \[
E(X|Y=y)=6.876y
\] 这显然是一个与\(y\)相关的函数，对\(y\)的不同取值，条件期望的取值也在变化。可以记： \[
g(y)=E(X|Y=y)
\] 进一步，还可以将条件期望看成是随机变量\(Y\)的函数，即\(E(X|Y)=g(Y)\)，而将\(E(X|Y=y)\)看成是\(Y=y\)时\(E(X|Y)\)的一个取值。从这个角度来看，\(E(X|Y)\)也是一个随机变量。
如果条件期望也是一个随机数，那么条件期望的期望是什么呢？下面就用重期望公式做进一步说明。
重期望公式
前面提到，\(g(Y)=E(X|Y)\)也是一个随机变量，如果我们对其求期望，以连续函数为例,注意随机变量是\(Y\)： \[
E[g(Y)]=\int_{-\infty}^\infty E(X|Y=y) p_Y(y)\mathrm{d}y
\] 我们将条件期望的定义（1）式代入可得： \[
\begin{aligned}
E[g(Y)]&=\int_{-\infty}^\infty[\int_{-\infty}^\infty xp(x|Y=y)\mathrm{d}x]\;p_{_Y}(y)\mathrm{d}y\\
(全概率公式)&=\int_{-\infty}^\infty\int_{-\infty}^\infty xp(x,y)\mathrm{d}x\mathrm{d}y\\
（提出x）&=\int_{-\infty}^\infty x\{\int_{-\infty}^\infty p(x,y)\mathrm{d}y\}\mathrm{d}x\\
(求x的边际pdf)&=\int_{-\infty}^\infty xp_{_X}(x)\mathrm{d}x\\
&=E(X)
\end{aligned}\tag{3}
\] 我们“惊讶”的发现，条件期望的期望竟然是\(X\)的无条件期望！由此，我们给出重期望公式：
定理：（重期望公式）设\((X,Y)\)是二维随机变量，且\(E(X)\)存在，则
\[E(X)=E[E(X|Y)]\]
重期望公式是概率论中比较深刻的一个结论。我们也可以换个角度理解：我们找到一个与\(X\)相关的量\(Y\)，用\(Y\)的不同取值（要互斥）把\(X\)划分成若干小区域（场景），现在小区域上求\(X\)的期望或均值，然后再根据\(Y\)的出现概率对各个小区域的期望\(E(X_{y_i})\)求加权平均，即可求出整体\(X\)的期望。
具体一些，重期望公式也可以写成如下形式： \[
E(X)=\begin{cases}\sum\limits_i E(X|Y=y_i)P(Y=y_i),\qquad 离散场景\\
\int_{-\infty}^\infty E(X|Y=y)P_{_Y}(y)\mathrm{d}y,\qquad 连续场景\end{cases}
\]
随机个随机变量和的数学期望
设\(X_1,X_2,\dotsb\)为一系列独立同分布的随机变量，随机变量\(N\)只取正整数值，且\(N\)与\(\{X_n\}\)独立，证明： \[
E(\sum_{i=1}^N X_i)=E(X_1)E(N)
\]
证明：由重期望公式可知： \[
\begin{aligned}
E(\sum_{i=1}^N X_i)&=E[E(\sum_{i=1}^N X_i | N)]\\
&=\sum_{i=1}^\infty E(\sum_{i=1}^N X_i | N=n)P(N=n)\\
（\{X_n\}与N独立）&=\sum_{i=1}^\infty E(\sum_{i=1}^n X_i)P(N=n)\\
（\{X_n\}i.i.d）&=\sum_{i=1}^\infty nE(X_1)P(N=n)\\
&=E(X_1)\sum_{i=1}^\infty nP(N=n)\\
&=E(X_1)E(N)
\end{aligned}
\]
条件期望的其他推论
\(\mathrm{Var}(X)=E[\mathrm{Var}(X|Y)]+\mathrm{Var}[E(X|Y)]\)
证明： \[
\left .
\begin{aligned}
&E[\mathrm{Var}(X|Y)]=E\{E(X^2|Y)-[E(X|Y)]^2\}=E(X^2)-E[E^2(X|Y)]\\
\\
&\mathrm{Var}[E(X|Y)]=E[E^2(X|Y)]-[\underbrace{E\cdot E(X|Y)}_{E(X)}]^2=E[E^2(X|Y)]-[E(X)]^2
\end{aligned}
\right\}\Rightarrow\\
E[\mathrm{Var}(X|Y)]+\mathrm{Var}[E(X|Y)]=E(X^2)-E[E^2(X|Y)]+E[E^2(X|Y)]-[E(X)]^2\\
=E(X^2)-E^2(X)=\mathrm{Var}(X)
\]
\(E[f(Y)|Y]=f(Y)\)
证明： 当随机变量\(Y\)取到固定值\(y\)时（\(Y=y\)），就不存在随机性了。所以对于\(\forall Y=y\)，有 \[
E[f(Y)|Y=y]=E[f(Y=y)|Y=y]=E[f(y)]=f(y)
\] 所以，有\(E[f(Y)|Y]=f(Y)\)。
\(E[g(X)\cdot Y|X]=g(X)E[Y|X]\)
\(E(XY)=E[X\cdot E(Y|X)]\)
\(\mathrm{Cov}[X,E(Y|X)]=\mathrm{Cov}(X,Y)\)