𝔼

条件期望

tower property
全期望公式（Law of Total Expectation）
$$E[X] = E\bigl[E[X \mid Y]\bigr]$$
条件全期望（Tower Property）
$$E[X \mid \mathcal{G}] = E\bigl[E[X \mid \mathcal{F}] \mid \mathcal{G}\bigr], \quad \mathcal{G} \subseteq \mathcal{F}$$

更粗的 $\sigma$-代数取期望后，结果只保留粗的信息。

离散形式
$$E[X] = \sum_y E[X \mid Y=y]\,P(Y=y)$$
连续形式
$$E[X] = \int E[X \mid Y=y]\,f_Y(y)\,dy$$
面试常见：全期望公式 = 先对 $Y$ 条件，再对 $Y$ 积分/求和。直觉：先分组算，再加权平均。
例题 骰子：先抛一枚骰子得 $N$，再抛 $N$ 枚硬币，求正面期望数。 ▼

令 $X$ = 正面总数，$N$ = 骰子点数（$1$到$6$均匀）。

条件期望：$E[X\mid N=n] = n/2$（$n$ 枚公平硬币）。

$$E[X] = E\bigl[E[X\mid N]\bigr] = E\!\left[\frac{N}{2}\right] = \frac{E[N]}{2} = \frac{3.5}{2} = 1.75$$
答案：1.75
条件期望的性质
关键性质
$$E[g(Y)X \mid Y] = g(Y)\,E[X \mid Y] \quad \text{（taking out known factors）}$$ $$E[X \mid Y] = E[X] \quad \text{if } X \perp Y$$ $$E[aX + bZ \mid Y] = a\,E[X\mid Y] + b\,E[Z\mid Y] \quad \text{（线性）}$$
σ²

全方差公式

Eve's law
全方差公式（Law of Total Variance）
$$\text{Var}(X) = E\bigl[\text{Var}(X\mid Y)\bigr] + \text{Var}\bigl(E[X\mid Y]\bigr)$$
推导
1

利用方差定义拆分：

$$\text{Var}(X) = E[X^2] - (E[X])^2$$
2

注意 $E[X^2] = E[E[X^2\mid Y]]$（全期望），以及：

$$E[X^2\mid Y] = \text{Var}(X\mid Y) + (E[X\mid Y])^2$$
3

代入并展开，得：

$$\text{Var}(X) = \underbrace{E[\text{Var}(X\mid Y)]}_{\text{within-group variance}} + \underbrace{\text{Var}(E[X\mid Y])}_{\text{between-group variance}}$$
条件方差定义
$$\text{Var}(X\mid Y) = E[X^2\mid Y] - (E[X\mid Y])^2$$
全协方差公式
$$\text{Cov}(X,Z) = E[\text{Cov}(X,Z\mid Y)] + \text{Cov}(E[X\mid Y], E[Z\mid Y])$$
直觉：总方差 = 组内平均方差（条件方差的期望）+ 组间方差（条件均值的方差）。ANOVA 的本质就是这个分解。
例题 上题中，求正面数 $X$ 的方差。 ▼

条件方差：$\text{Var}(X\mid N=n) = n/4$（$n$ 枚公平硬币方差之和）。

条件均值：$E[X\mid N] = N/2$。

$$E[\text{Var}(X\mid N)] = E\!\left[\frac{N}{4}\right] = \frac{3.5}{4} = 0.875$$ $$\text{Var}(E[X\mid N]) = \text{Var}\!\left(\frac{N}{2}\right) = \frac{\text{Var}(N)}{4} = \frac{35/12}{4} = \frac{35}{48} \approx 0.729$$ $$\text{Var}(X) = 0.875 + 0.729 \approx 1.604$$

其中 $\text{Var}(N) = E[N^2]-(E[N])^2 = 91/6 - 49/4 = 35/12$。

答案：≈ 1.604
Σ

Wald 方程

random sum
Wald's Equation

$X_1,X_2,\ldots$ i.i.d.，$N$ 是非负整值随机变量，$N \perp X_i$，$E[|X_i|]<\infty$，$E[N]<\infty$。令 $S_N = X_1+\cdots+X_N$，则：

$$E[S_N] = E[N]\cdot E[X_i]$$
推导
$$E[S_N] = E\left[\sum_{i=1}^{N} X_i\right] = E\left[\sum_{i=1}^{\infty} X_i \cdot \mathbf{1}_{i \leq N}\right] = \sum_{i=1}^{\infty} E[X_i]\cdot P(N \geq i) = E[X_i]\cdot E[N]$$

最后一步用了 $\sum_{i=1}^{\infty} P(N\geq i) = E[N]$（非负整数期望公式）。

应用：保险精算（随机次数的随机损失之和）、随机游走步数期望、排队论。
例题 保险：每天索赔次数 $N\sim\text{Poisson}(3)$，每次损失 $X_i\sim\text{Exp}(1/1000)$，求每天总损失期望。 ▼

$E[N]=3$，$E[X_i]=1000$，$N\perp X_i$，直接用 Wald 方程：

$$E[S_N] = E[N]\cdot E[X_i] = 3\times 1000 = 3000$$

无需对 $N$ 的所有可能值分别计算再加权，Wald 方程一步到位。

答案：3000
∪

Jensen 不等式

convexity → inequality
Jensen's Inequality

$\varphi$ 凸（convex），$X$ 可积，则：

$$\varphi(E[X]) \leq E[\varphi(X)]$$

"=" 当且仅当 $X$ a.s. 常数，或 $\varphi$ 在 $X$ 的范围上是线性的。

条件版本
$$\varphi(E[X\mid \mathcal{G}]) \leq E[\varphi(X)\mid \mathcal{G}]$$
推导思路

在 $m = E[X]$ 处，凸函数存在支撑线 $ax+b$ 使得 $\varphi(x) \geq ax+b$ 对所有 $x$，且 $\varphi(m) = am+b$。取期望：

$$E[\varphi(X)] \geq E[aX+b] = aE[X]+b = am+b = \varphi(m) = \varphi(E[X])$$
金融应用
对数收益率 vs 算术收益率
$$E[\log(1+R)] \leq \log(E[1+R])$$

几何平均 ≤ 算术平均，Kelly 准则背后的原理。

期权定价下界
$$E[\max(S-K,0)] \geq \max(E[S]-K, 0)$$

$\max(\cdot,0)$ 是凸函数，期权价格 ≥ 内在价值。

例题 $X$ 均匀分布在 $[0,2]$，比较 $E[e^X]$ 与 $e^{E[X]}$。 ▼

$e^x$ 是凸函数，由 Jensen：$e^{E[X]} \leq E[e^X]$。

计算：$E[X]=1$，所以 $e^{E[X]} = e \approx 2.718$。

$$E[e^X] = \int_0^2 e^x \cdot \frac{1}{2}\,dx = \frac{e^2-1}{2} \approx \frac{7.389-1}{2} \approx 3.195$$

$3.195 > 2.718$，验证 Jensen 不等式严格成立（$X$ 非常数）。

$E[e^X] = (e^2-1)/2 \approx 3.195 > e \approx 2.718 = e^{E[X]}$
≥

AM-GM 不等式

Jensen 的推论
AM ≥ GM
$$\frac{x_1+\cdots+x_n}{n} \geq (x_1\cdots x_n)^{1/n}, \quad x_i > 0$$
用 Jensen 推导

$\log x$ 是凹函数（concave），对凹函数 Jensen 不等式方向反转：

$$\log\!\left(\frac{x_1+\cdots+x_n}{n}\right) \geq \frac{\log x_1+\cdots+\log x_n}{n} = \log(x_1\cdots x_n)^{1/n}$$

两边取 $\exp$ 即得 AM ≥ GM。等号当且仅当 $x_1=\cdots=x_n$。

例题 证明：对正实数 $a,b$，有 $a+b \geq 2\sqrt{ab}$，等号何时成立？ ▼

AM-GM 的 $n=2$ 情形：

$$\frac{a+b}{2} \geq \sqrt{ab} \implies a+b \geq 2\sqrt{ab}$$

等号当且仅当 $a=b$。

直接证明：$({\sqrt{a}-\sqrt{b}})^2 \geq 0 \Rightarrow a - 2\sqrt{ab} + b \geq 0$，即得。

应用：矩形面积固定时，正方形周长最小；周长固定时，正方形面积最大。

等号当且仅当 $a=b$
≤

Young 不等式

Hölder 的基础
Young's Inequality

$a,b \geq 0$，$p,q > 1$，$\frac{1}{p}+\frac{1}{q}=1$，则：

$$ab \leq \frac{a^p}{p} + \frac{b^q}{q}$$

"=" 当且仅当 $a^p = b^q$。

推导（用 Jensen）

$\varphi(x)=e^x$ 凸，Jensen 给出 $e^{\lambda x + (1-\lambda)y} \leq \lambda e^x + (1-\lambda)e^y$。

令 $x = \ln a^p$，$y = \ln b^q$，$\lambda = 1/p$，即得 Young 不等式。

例题 用 Young 不等式证明：$ab \leq \frac{a^2}{2} + \frac{b^2}{2}$，$a,b\geq0$。 ▼

取 $p=q=2$（此时 $1/p+1/q=1$），代入 Young 不等式：

$$ab \leq \frac{a^2}{2} + \frac{b^2}{2}$$

这等价于 $(a-b)^2 \geq 0$，等号当 $a=b$ 时成立。

这是最常用的"$2ab \leq a^2+b^2$"不等式，在推导方差公式、Cauchy-Schwarz 等处频繁出现。

等号当且仅当 $a=b$
M

Markov 不等式

最弱但最基础
Markov's Inequality

$X \geq 0$，$a > 0$：

$$P(X \geq a) \leq \frac{E[X]}{a}$$
推导
$$X \geq a \cdot \mathbf{1}_{\{X \geq a\}} \implies E[X] \geq a \cdot P(X \geq a)$$
应用：$X\geq 0$，$E[X]=5$，则 $P(X\geq 20)\leq 5/20=0.25$。所有概率不等式的基础。
例题 某股票日收益率 $R\geq0$，$E[R]=2\%$。用 Markov 给出 $P(R\geq10\%)$ 的上界。 ▼

直接代入 Markov 不等式，$a=0.1$：

$$P(R\geq 0.1) \leq \frac{E[R]}{0.1} = \frac{0.02}{0.1} = 0.2$$

即超过 10% 的概率至多 20%。这个界非常松（没有用到分布形状），但完全不假设分布。

上界：20%
Ch

Chebyshev 不等式

双侧尾概率
Chebyshev's Inequality
$$P(|X-\mu| \geq t) \leq \frac{\sigma^2}{t^2}$$
推导（从 Markov）

令 $Y=(X-\mu)^2\geq 0$，对 $Y$ 用 Markov 不等式：

$$P(|X-\mu|\geq t) = P(Y \geq t^2) \leq \frac{E[Y]}{t^2} = \frac{\sigma^2}{t^2}$$
应用：$\sigma=3$，$P(|X-\mu|\geq 9)\leq 9/81 \approx 11.1\%$。用于构建置信区间（不假设分布）。
例题 某策略日 PnL 均值 $\mu=0$，$\sigma=1000$ 元。不知分布，给出单日亏损超 $3000$ 元的概率上界。 ▼

亏损超 3000 即 $X-\mu \leq -3000$，由对称性等价于 $|X-\mu|\geq 3000$。取 $t=3000$：

$$P(|X-\mu|\geq 3000) \leq \frac{\sigma^2}{t^2} = \frac{1000^2}{3000^2} = \frac{1}{9} \approx 11.1\%$$

若知道分布是正态，则 $P(|Z|\geq3) \approx 0.27\%$，Chebyshev 的界松得多，但无需假设分布。

上界：1/9 ≈ 11.1%
C

Cantelli 不等式

单侧风控
Cantelli's Inequality（单侧）
$$P(X - \mu \geq t) \leq \frac{\sigma^2}{\sigma^2 + t^2}$$
推导

令 $Y = X - \mu + \lambda$（$\lambda > 0$），$Y \geq 0$ 不一定成立，但：

$$P(X-\mu\geq t) = P(Y\geq t+\lambda) \leq \frac{E[Y^2]}{(t+\lambda)^2} = \frac{\sigma^2+\lambda^2}{(t+\lambda)^2}$$

对 $\lambda$ 最优化（令导数为0），得 $\lambda^* = \sigma^2/t$，代入得：

$$P(X-\mu\geq t) \leq \frac{\sigma^2}{\sigma^2+t^2}$$
应用：单边风险控制（VaR 估计）。比 Chebyshev 更紧（单侧），但仍不假设分布。
例题 同上题，用 Cantelli 给出单日亏损超 $3000$ 元的（单侧）概率上界，并与 Chebyshev 比较。 ▼

亏损超 3000 即 $\mu - X \geq 3000$，即 $(-X) - (-\mu) \geq 3000$，对 $-X$ 用 Cantelli（$t=3000$，$\sigma=1000$）：

$$P(X-\mu \leq -3000) \leq \frac{\sigma^2}{\sigma^2+t^2} = \frac{10^6}{10^6+9\times10^6} = \frac{1}{10} = 10\%$$

Chebyshev 给出双侧界 $1/9\approx11.1\%$，其中单侧最多 $1/9$；Cantelli 直接给单侧 $10\%$，更紧。

Cantelli 上界：10%（优于 Chebyshev 的 11.1%）
C-S

Cauchy-Schwarz 不等式

相关系数 |ρ|≤1 的来源
Cauchy-Schwarz（期望形式）
$$|E[XY]|^2 \leq E[X^2]\cdot E[Y^2]$$

"=" 当且仅当 $X = aY$ a.s.。

向量形式
$$|\langle x,y\rangle|^2 \leq \|x\|^2\|y\|^2 \implies \left(\sum x_i y_i\right)^2 \leq \left(\sum x_i^2\right)\left(\sum y_i^2\right)$$
推导

$0 \leq E[(X-tY)^2] = E[X^2] - 2tE[XY] + t^2E[Y^2]$，此二次函数（关于 $t$）非负，故判别式 $\Delta \leq 0$：

$$4(E[XY])^2 - 4E[X^2]E[Y^2] \leq 0$$
应用：相关系数 $|\rho| \leq 1$ 的严格证明。令 $U=(X-\mu_X)/\sigma_X$，$V=(Y-\mu_Y)/\sigma_Y$，则 $|\rho|=|E[UV]|\leq\sqrt{E[U^2]E[V^2]}=1$。
例题 证明：对任意随机变量 $X$，有 $(E[X])^2 \leq E[X^2]$。 ▼

令 Cauchy-Schwarz 中 $Y=1$（常数）：

$$|E[X\cdot 1]|^2 \leq E[X^2]\cdot E[1^2] = E[X^2]\cdot 1$$

即 $(E[X])^2 \leq E[X^2]$，等价于 $\text{Var}(X) = E[X^2]-(E[X])^2 \geq 0$。

这也是方差非负的另一种证明。

$(E[X])^2 \leq E[X^2]$，即方差非负
H

Hölder 不等式

Cauchy-Schwarz 的推广
Hölder's Inequality

$p,q>1$，$\frac{1}{p}+\frac{1}{q}=1$，则：

$$E[|XY|] \leq \|X\|_p \cdot \|Y\|_q = (E[|X|^p])^{1/p}\cdot(E[|Y|^q])^{1/q}$$
推导（从 Young 不等式）

令 $\tilde{X} = X/\|X\|_p$，$\tilde{Y}=Y/\|Y\|_q$，对每个样本点用 Young 不等式：

$$|\tilde{X}\tilde{Y}| \leq \frac{|\tilde{X}|^p}{p}+\frac{|\tilde{Y}|^q}{q}$$

取期望：$E[|\tilde{X}\tilde{Y}|]\leq \frac{1}{p}+\frac{1}{q}=1$，还原即得。

特例：$p=q=2$ 时退化为 Cauchy-Schwarz。Hölder 是对偶范数存在性的证明：$L^p$ 的对偶是 $L^q$。
例题 $X\sim\text{Uniform}[0,1]$，用 Hölder 不等式（$p=3,q=3/2$）给出 $E[X^{1/2}]$ 的上界。 ▼

令 $f=X^{1/2}$，$g=1$，取 $p=3$，$q=3/2$（满足 $1/3+2/3=1$）：

$$E[X^{1/2}] = E[f\cdot g] \leq \|f\|_3\cdot\|g\|_{3/2} = (E[X^{3/2}])^{1/3}\cdot 1$$

计算：$E[X^{3/2}]=\int_0^1 x^{3/2}dx = 2/5$，故 $E[X^{1/2}]\leq (2/5)^{1/3}\approx 0.737$。

真实值：$E[X^{1/2}]=\int_0^1 x^{1/2}dx=2/3\approx0.667$，上界有效。

$E[X^{1/2}] \leq (2/5)^{1/3} \approx 0.737$
‖·‖

范数

$L^p$ norm
$L^p$ 范数定义
$$\|x\|_p = \left(\sum_i |x_i|^p\right)^{1/p}, \quad 1\leq p < \infty \qquad \|x\|_\infty = \max_i|x_i|$$
$L^1$：曼哈顿距离
$$\|x\|_1 = \sum|x_i|$$

单位球：菱形

$L^2$：欧氏距离
$$\|x\|_2 = \sqrt{\sum x_i^2}$$

单位球：圆形

$L^\infty$：最大值
$$\|x\|_\infty = \max|x_i|$$

单位球：方形

单调性：对固定向量，$p\leq q \Rightarrow \|x\|_p \geq \|x\|_q$。$p$ 越小越平均，$p$ 越大越重视峰值。
对偶：$L^p$ 的对偶范数是 $L^q$（$1/p+1/q=1$）。$L^1$ 对偶 $L^\infty$，$L^2$ 自对偶。
例题 向量 $x=(3,4)$，计算 $\|x\|_1$，$\|x\|_2$，$\|x\|_\infty$，验证单调性。 ▼
$$\|x\|_1 = |3|+|4| = 7$$ $$\|x\|_2 = \sqrt{9+16} = 5$$ $$\|x\|_\infty = \max(3,4) = 4$$

$7 \geq 5 \geq 4$，验证 $\|x\|_1\geq\|x\|_2\geq\|x\|_\infty$。

ML应用：L1正则化（Lasso）促进稀疏解，L2正则化（Ridge）均匀缩小权重。两者行为差异来自范数几何形状的不同。

$\|x\|_1=7 \geq \|x\|_2=5 \geq \|x\|_\infty=4$
≈

不等式对比速查

summary
不等式形式条件应用
Markov $P(X\geq a)\leq E[X]/a$ $X\geq0$，$a>0$ 一切概率上界的基础
Chebyshev $P(|X-\mu|\geq t)\leq \sigma^2/t^2$ 有限方差 置信区间，不依赖分布
Cantelli $P(X-\mu\geq t)\leq \sigma^2/(\sigma^2+t^2)$ 有限方差，单侧 单边风控，VaR 估计
Jensen $\varphi(E[X])\leq E[\varphi(X)]$ $\varphi$ 凸 AM-GM，期权定价，Kelly
Young $ab\leq a^p/p+b^q/q$ $1/p+1/q=1$ Hölder 的推导基础
Cauchy-Schwarz $|E[XY]|^2\leq E[X^2]E[Y^2]$ 二阶矩有限 $|\rho|\leq1$，最小二乘
Hölder $E[|XY|]\leq\|X\|_p\|Y\|_q$ $1/p+1/q=1$ C-S 的推广，对偶范数
强度关系

Markov $\xrightarrow{\text{令}Y=(X-\mu)^2}$ Chebyshev $\xrightarrow{\text{优化}\lambda}$ Cantelli

Young $\xrightarrow{\text{取期望}}$ Hölder $\xrightarrow{p=q=2}$ Cauchy-Schwarz

Jensen $\xrightarrow{\log\text{凹}}$ AM-GM，Jensen $\xrightarrow{e^x\text{凸},\lambda=1/p}$ Young