Statistics Notes · Princeton MFin

Mean、Median 与 Mode
的几何含义与证明

生存函数凸性 · 几何分布 · 严格递减 pdf · 力矩平衡

0笔记总览

四张图片涵盖两道核心题目及其延伸问题:

题目一(离散)
52张扑克牌有放回抽取,直到首次抽到K,令 $X$ 为总次数。
求 $X$ 的 mean 与 median 并比较。
题目二(连续)
连续随机变量 $X$ 服从严格递减的 pdf
证明 $\mathbb{E}[X] > \operatorname{Median}(X)$。

延伸问题:德国坦克问题(无偏估计总量 $N$)和HHH(Markov 链求期望投掷次数)。


1三个统计量的 PDF / CDF 几何含义

Mode 众数
  • PDF:峰值点,$f'(x_0)=0$,$f$ 最大
  • CDF:$F(x)$ 斜率最大处,因 $F'(x)=f(x)$
Median 中位数
  • PDF:将曲线下面积等分为两个 $\frac{1}{2}$
  • CDF:$F(m)=\frac{1}{2}$,S 形曲线与 $y=\frac{1}{2}$ 的交点
Mean 均值
  • PDF:密度曲线的质心 $\displaystyle\mu = \int_{-\infty}^{\infty} x\,f(x)\,dx$,离均值越远的质量贡献越大
  • CDF(生存函数面积):$\displaystyle\mu = \int_0^\infty S(x)\,dx$,即 $S(x)=1-F(x)$ 曲线下的全部面积

为什么 $\mu = \int_0^\infty S(x)\,dx$?

对非负连续随机变量,用 Fubini 定理交换积分次序:

$$\mu = \int_0^\infty x\,f(x)\,dx = \int_0^\infty\!\!\int_0^x dt\,f(x)\,dx = \int_0^\infty\!\!\int_t^\infty f(x)\,dx\,dt = \int_0^\infty P(X>t)\,dt = \int_0^\infty S(t)\,dt$$
均值 $\mu$ = 生存函数 $S(x)$ 曲线下的面积(不是 PDF 面积的平分)。右尾越厚,这个面积越大,$\mu$ 被拉得越右,超过 median。

2质心与力矩:为何 Mean ≠ 面积平分

Median——面积平分

找 $m$ 使左侧概率 = 右侧概率 = $\frac{1}{2}$:

$$\int_{-\infty}^{m} f(x)\,dx = \frac{1}{2} \iff F(m)=\frac{1}{2}$$

每块区域贡献相等,与其离 $m$ 的距离无关

Mean——力矩平衡

把 PDF 视为悬在 $x$ 轴上的薄板,质心是使左右力矩(质量 × 距离)平衡的支点:

$$\int_{-\infty}^{\mu}(\mu - x)\,f(x)\,dx = \int_{\mu}^{\infty}(x-\mu)\,f(x)\,dx$$ 合并要求净力矩为零: $$\int_{-\infty}^{\infty}(x - \mu)\,f(x)\,dx = 0 \implies \mu = \int_{-\infty}^{\infty} x\,f(x)\,dx$$
力矩 = 质量 × 距离。右尾虽然面积小(概率质量少),但离支点距离远,力矩可以很大。为了左右力矩平衡,支点(mean)必须向右偏移,超越 median。

这是右偏分布 $\mu > m$ 的物理根源。
m ½ ½ μ 大质量 小质量 d₁ 小 d₂ 大 右尾:面积小但 d₂ 大 → 力矩 d₂ 大,把 μ 右拉
左侧质量大但距近,右侧质量小但距远。力矩平衡点(mean)在面积平分点(median)右侧。

3题目一:扑克牌 K——几何分布

问题设定

52 张扑克牌(含 4 张 K),有放回地抽取直到首次抽到 K,令 $X$ 为总次数。

$$X \sim \operatorname{Geometric}\!\left(p = \frac{4}{52} = \frac{1}{13}\right)$$

Mean(期望)

几何分布期望公式:$\mathbb{E}[X] = \dfrac{1}{p}$
代入 $p = \dfrac{1}{13}$: $$\mathbb{E}[X] = 13$$

推导:$\displaystyle\mathbb{E}[X] = \sum_{k=1}^{\infty} k\cdot p\,(1-p)^{k-1} = p\cdot\frac{1}{\bigl[1-(1-p)\bigr]^2} = \frac{1}{p}$

Median(中位数)

求最小整数 $m$ 使得 $P(X \le m) \ge \dfrac{1}{2}$:

$$P(X \le m) = 1 - (1-p)^m \ge \frac{1}{2} \implies (1-p)^m \le \frac{1}{2} \implies m \ge \frac{\ln 2}{-\ln(1-p)}$$
代入 p = 1/13: m ≥ ln 2 / ln(13/12) = 0.6931 / 0.0800 ≈ 8.66 Median = ⌈8.66⌉ = 9
$$\underbrace{\mathbb{E}[X] = 13}_{\text{Mean}} > \underbrace{9}_{\text{Median}}$$ 几何分布右偏(右尾无限延伸),极端大值将期望拉高,符合"严格递减 pmf $\Rightarrow$ Mean $>$ Median"。

一般公式(小 $p$ 近似): $$\text{Median} \approx \frac{\ln 2}{p} \approx \frac{0.693}{p} \approx 0.693 \times \mathbb{E}[X]$$

4题目二:严格递减 pdf → Mean > Median

4.1 关键工具:生存函数的凸性

设 $X \ge 0$,pdf $f(x)$ 在 $(0,\infty)$ 上严格递减($f'(x) < 0$),则生存函数 $S(x) = 1 - F(x)$ 满足: $$S'(x) = -f(x) < 0 \quad(\text{单调递减})$$ $$S''(x) = -f'(x) > 0 \quad(\textbf{严格凸函数!})$$ 中位数 $m$:$S(m) = \dfrac{1}{2}$。均值 $\mu = \displaystyle\int_0^\infty S(x)\,dx$。
1 ½ m μ x S 红色面积 = μ 曲线在切线上方(凸) S(x):严格凸 m 处切线 面积 = μ μ > m
S(x) 严格凸:曲线位于任意切线之上。红色区域(S 曲线下面积)= μ,超过 median m。

4.2 完整证明

Step 1:分解 $\mu - m$

$$\mu - m = \int_0^\infty S(x)\,dx - m = \int_0^\infty S(x)\,dx - \int_0^m 1\,dx$$ 在 $m$ 处拆积分,并注意 $1 - S(x) = F(x)$: $$= \int_m^\infty S(x)\,dx - \int_0^m \bigl[1-S(x)\bigr]\,dx = \underbrace{\int_m^\infty S(x)\,dx}_{A} - \underbrace{\int_0^m F(x)\,dx}_{B}$$

Step 2:由凸性得关键不等式

$S(x)$ 严格凸 $\Rightarrow$ 对任意 $t>0$: $$S(m-t)+S(m+t) > 2S(m) = 1 \implies 1 - S(m-t) < S(m+t)$$ 即 $$\boxed{F(m-t) < S(m+t) \quad \forall\, t > 0}$$

Step 3:积分比较得 $A > B$

令 $x = m - t$(换元,$t$ 从 $0$ 到 $m$): $$B = \int_0^m F(x)\,dx = \int_0^m F(m-t)\,dt < \int_0^m S(m+t)\,dt \le \int_0^\infty S(m+t)\,dt = \int_m^\infty S(u)\,du = A$$ (第二个不等号:$S \ge 0$,积分区间扩大只增不减。) 因此 $\mu - m = A - B > 0$,即: $$\boxed{\mu = \mathbb{E}[X] > \operatorname{Median}(X) = m} \qquad \square$$
定理:严格递减 pdf → Mean > Median

若 $X \ge 0$ 的 pdf $f(x)$ 严格递减($f'(x) < 0\; \forall x$),则 $$\mathbb{E}[X] > \operatorname{Median}(X)$$ 严格不等号是因为凸性是严格凸。对称(等号)时 $f$ 不能严格递减,矛盾。

4.3 指数分布验证(笔记例子)

取 $f(x) = e^{-x}$(即 $X \sim \operatorname{Exp}(1)$),$x \ge 0$:

$$S(x) = e^{-x},\quad S''(x) = e^{-x} > 0 \checkmark$$ $$\operatorname{Median}:\; S(m)=\tfrac{1}{2} \implies e^{-m}=\tfrac{1}{2} \implies m = \ln 2 \approx 0.693$$ $$\operatorname{Mean}:\; \mu = \int_0^\infty e^{-x}\,dx = 1$$ $$\mu = 1 > \ln 2 \approx 0.693 = m \qquad \checkmark$$

5延伸:德国坦克问题

从 $\{1, 2, \ldots, N\}$ 中均匀无放回抽取 $k$ 个,观测到最大值 $M_k = m_k$,估计未知的 $N$。

PMF

$$P(M_k = m_k) = \frac{\dbinom{m_k-1}{k-1}}{\dbinom{N}{k}}, \qquad k \le m_k \le N$$

期望(笔记结论)

$$\mathbb{E}[M_k] = \frac{k(N+1)}{k+1}$$

无偏矩估计

令 $\mathbb{E}[M_k] = m_k$ 解出 $N$:

$$\hat{N} = m_k\cdot\frac{k+1}{k} - 1 = m_k + \frac{m_k}{k} - 1$$
$\hat{N}$ 是 $N$ 的无偏估计(UMVUE)。直觉:$m_k$ 低估了 $N$;$\frac{m_k}{k}$ 是每两个相邻观测值的平均间距,作为对"$m_k$ 到 $N$"这段距离的补偿。

6延伸:HHH 连续三正面(Markov 链)

公平硬币,连续投掷直到连续出现 HHH,求期望投掷总次数。

四状态 Markov 链

状态含义H(概率 ½)T(概率 ½)
$S_0$初始 / 上次非H→ $S_1$→ $S_0$
$S_1$尾部恰好 H→ $S_2$→ $S_0$
$S_2$尾部恰好 HH→ $S_3$(完成)→ $S_0$
$S_3$HHH,吸收态——

期望方程组

设 $e_i$ 为从 $S_i$ 到 $S_3$ 的期望步数:

$$e_0 = 1 + \tfrac{1}{2}e_1 + \tfrac{1}{2}e_0$$ $$e_1 = 1 + \tfrac{1}{2}e_2 + \tfrac{1}{2}e_0$$ $$e_2 = 1 + \tfrac{1}{2}\cdot 0 + \tfrac{1}{2}e_0$$
由第三式:$e_2 = 1 + \tfrac{1}{2}e_0$

由第一式:$\tfrac{1}{2}e_0 = 1 + \tfrac{1}{2}e_1 \implies e_0 = 2 + e_1$

由第二式:$e_1 = 1 + \tfrac{1}{2}(1+\tfrac{1}{2}e_0) + \tfrac{1}{2}e_0 = \tfrac{3}{2} + \tfrac{3}{4}e_0$

代入:$e_0 = 2 + \tfrac{3}{2} + \tfrac{3}{4}e_0 \implies \tfrac{1}{4}e_0 = \tfrac{7}{2}$ $$\boxed{e_0 = 14 \text{ 次}}$$ 通用公式:连续 $k$ 个 H 的期望次数 $= 2(2^k - 1)$ $$k=1:\,2,\quad k=2:\,6,\quad k=3:\,14,\quad k=4:\,30$$
面试 Follow-up:游戏大概何时结束?

· 期望 $= 14$ 次
· 中位数 $\approx \ln 2 \times 14 \approx 9.7$ 次(中位数 < 期望,分布右偏)

为什么中位数 $\approx \ln 2 \times$ 期望?这个分布近似指数型,而指数分布的 $\text{Median} = \ln 2 \times \text{Mean}$(正是题目二结论的直接应用!)

标准回答:"期望是 14,但有一半概率在约 10 次之前就结束——因为分布右偏,少数极长游戏拉高了期望。"

7综合对比

统计量PDF 几何含义CDF 几何含义对极端值敏感度
Mode $f(x)$ 峰值,$f'=0$ $F(x)$ 斜率最大处 最低(仅看局部峰)
Median PDF 面积等分竖线 $F(m)=\frac{1}{2}$ 对应点 鲁棒(只关心顺序)
Mean 质心 $\mu=\int x f\,dx$ $S(x)=1-F(x)$ 曲线下总面积 最高(远端值力矩大)
分布类型偏态大小关系本文例子
严格递减 pdf 右偏(右尾重) $\text{Mo} < m < \mu$ $\operatorname{Exp}(\lambda)$,$\operatorname{Geom}(p)$,HHH 游戏
对称分布 无偏 $\text{Mo} = m = \mu$ 正态,均匀
严格递增 pdf 左偏(左尾重) $\mu < m < \text{Mo}$ $\operatorname{Beta}(a{>}1,\,1)$
本文核心定理(完整版)

设 $X \ge 0$,pdf $f(x)$ 严格递减,则:
  1. $S(x) = 1 - F(x)$ 严格凸($S'' = -f' > 0$)
  2. $\mu = \displaystyle\int_0^\infty S(x)\,dx$(生存函数面积 = 均值)
  3. 凸性 $\Rightarrow F(m-t) < S(m+t) \;\forall t > 0$
  4. 积分得 $\displaystyle\int_m^\infty S\,dx > \int_0^m F\,dx \;\Rightarrow\; \mu - m > 0$
  5. $$\therefore\quad \mathbb{E}[X] > \operatorname{Median}(X) \qquad \square$$