离散分布全览 · Discrete Distributions Reference

🪙

Bernoulli Distribution

伯努利分布

Bern(p) — Single Binary Trial

Mean 均值

$\displaystyle E[X] = p$

Variance 方差

$\displaystyle \mathrm{Var}(X) = p(1-p)$

Definition 定义 — Parameter: $p \in (0,1)$

$X$ 为单次二值试验的结果：成功（$X=1$）或失败（$X=0$）。所有离散分布的基础构件。

$\displaystyle P(X = k) = p^k(1-p)^{1-k}, \quad k \in \{0,\,1\}$

Equivalently: P(X=1) = p, P(X=0) = 1−p

Mean & Variance 均值与方差（直接计算）

S1

均值：

E[X] = 0 \cdot (1-p) + 1 \cdot p = \boxed{p}

S2

二阶矩：由于 $X^2 = X$（$X\in\{0,1\}$），

$$E[X^2] = E[X] = p$$

S3

方差：

\mathrm{Var}(X) = E[X^2] - (E[X])^2 = p - p^2 = \boxed{p(1-p)}

方差最大值

$p(1-p)$ 在 $p=\tfrac{1}{2}$ 时取最大值 $\tfrac{1}{4}$，对应最不确定的情形（抛均匀硬币）。

MGF 矩母函数 $M_X(t) = 1 - p + pe^t$

M_X(t) = E[e^{tX}] = (1-p)e^{0} + p\,e^{t} = 1 - p + pe^t

这是二项分布 MGF 的基本单元：$n$ 个独立 Bernoulli 的 MGF 乘积 $= (1-p+pe^t)^n$，即 Binomial 的 MGF。

🎲

Binomial Distribution

二项分布

Bin(n, p) — Sum of n Independent Bernoulli(p)

Mean 均值

$\displaystyle E[X] = np$

Variance 方差

$\displaystyle \mathrm{Var}(X) = np(1-p)$

Definition 定义 — Parameters: $n \in \mathbb{Z}^+,\; p \in (0,1)$

$n$ 次独立伯努利试验中成功次数 $X = X_1 + \cdots + X_n$，其中 $X_i \overset{\text{iid}}{\sim} \text{Bern}(p)$。

$\displaystyle P(X = k) = \binom{n}{k} p^k (1-p)^{n-k}, \quad k = 0,1,\ldots,n$

Support: $\{0,1,2,\ldots,n\}$

Mean 均值推导 $E[X] = np$

🔑 核心思路：指示变量分解 (Indicator Decomposition)

令 $X_i = \mathbf{1}[\text{第}i\text{次试验成功}]$，则 $X = \sum_{i=1}^n X_i$，每个 $X_i \sim \text{Bern}(p)$。

S1

由期望线性性（无需独立性）：

E[X] = \sum_{i=1}^n E[X_i] = \sum_{i=1}^n p = \boxed{np}

直接求和法（利用组合恒等式）

E[X] = \sum_{k=0}^n k\binom{n}{k}p^k(1-p)^{n-k}

利用恒等式 $k\binom{n}{k} = n\binom{n-1}{k-1}$：

E[X] = n\sum_{k=1}^n\binom{n-1}{k-1}p^k(1-p)^{n-k} = np\sum_{j=0}^{n-1}\binom{n-1}{j}p^j(1-p)^{n-1-j} = np\cdot 1 = np

（令 $j=k-1$，括号内恰为二项式定理 $(p+(1-p))^{n-1}=1$。）

Variance 方差推导 $\mathrm{Var}(X) = np(1-p)$

S1

由于 $X_i$ 相互独立：

\mathrm{Var}(X) = \sum_{i=1}^n \mathrm{Var}(X_i) = n \cdot p(1-p) = \boxed{np(1-p)}

利用二阶矩 E[X²] 直接推导

先求 $E[X(X-1)]$（下降阶乘矩）：

E[X(X-1)] = \sum_{k=2}^n k(k-1)\binom{n}{k}p^k q^{n-k}

利用恒等式 $k(k-1)\binom{n}{k} = n(n-1)\binom{n-2}{k-2}$：

E[X(X-1)] = n(n-1)p^2\sum_{j=0}^{n-2}\binom{n-2}{j}p^j q^{n-2-j} = n(n-1)p^2

则 $E[X^2] = E[X(X-1)] + E[X] = n(n-1)p^2 + np$。

\mathrm{Var}(X) = E[X^2]-(E[X])^2 = n(n-1)p^2+np-n^2p^2 = np - np^2 = np(1-p)

MGF 验证

二项分布 MGF：$M_X(t) = (1-p+pe^t)^n$（$n$ 个独立 Bern 的乘积）。

$M_X'(t)\big|_{t=0} = n(1-p+pe^t)^{n-1}pe^t\big|_{t=0} = np$ ✓

🎯

Geometric Distribution

几何分布

Geo(p) — Special Case of Negative Binomial (r=1)

Mean 均值

$\displaystyle E[X] = \frac{1}{p}$

Variance 方差

$\displaystyle \mathrm{Var}(X) = \frac{1-p}{p^2}$

Definition 定义

每次试验独立，成功概率为 $p \in (0,1)$。$X$ 为首次成功所需的试验次数（包含成功那次）。

Alternative convention: 有时定义 $X$ 为首次成功之前的失败次数，此时支撑集为 $\{0,1,2,\dots\}$，均值变为 $\tfrac{1-p}{p}$，方差相同。本文采用前者。

$\displaystyle P(X = k) = (1-p)^{k-1}\,p, \quad k = 1,\,2,\,3,\,\ldots$

Support: $\{1, 2, 3, \ldots\}$

Mean 均值推导 $E[X] = \dfrac{1}{p}$

令 $q = 1-p$。方法一：直接求和（幂级数微分法）

S1

写出期望：

E[X] = \sum_{k=1}^{\infty} k\,(1-p)^{k-1}\,p = p\sum_{k=1}^{\infty}k\,q^{k-1}

S2

利用几何级数 $\sum_{k=0}^{\infty}q^k = \dfrac{1}{1-q}$（$|q|<1$），两边对 $q$ 求导：

\sum_{k=1}^{\infty}k\,q^{k-1} = \frac{d}{dq}\sum_{k=0}^{\infty}q^k = \frac{d}{dq}\frac{1}{1-q} = \frac{1}{(1-q)^2} = \frac{1}{p^2}

S3

代回：

\boxed{E[X] = p \cdot \frac{1}{p^2} = \frac{1}{p}}

方法二：条件期望法 (Recursive / Law of Total Expectation)

设 $\mu = E[X]$。考虑第一次试验的结果：

E[X] = p\cdot 1 + (1-p)\cdot(1 + E[X])

右侧含义：若成功（概率 $p$），总共 1 次；若失败（概率 $1-p$），已用 1 次，后续重新开始还需 $E[X]$ 次。

\mu = p + (1-p)(1+\mu) = p + (1-p) + (1-p)\mu = 1 + q\mu

\mu(1-q) = 1 \implies \mu = \frac{1}{p}

Insight

这个递推方法在面试中非常优雅：只需写出第一步的分叉，令期望为未知数 $\mu$ 求解即可。

方法三：概率生成函数 (PGF)

几何分布的概率生成函数 $G(z) = E[z^X]$：

G(z) = \sum_{k=1}^\infty z^k(1-p)^{k-1}p = \frac{pz}{1-qz}, \quad |z| < \frac{1}{q}

由 PGF 性质 $E[X] = G'(1)$：

G'(z) = \frac{p(1-qz)+pqz}{(1-qz)^2} = \frac{p}{(1-qz)^2}

E[X] = G'(1) = \frac{p}{(1-q)^2} = \frac{p}{p^2} = \frac{1}{p}

Variance 方差推导 $\mathrm{Var}(X) = \dfrac{1-p}{p^2}$

利用 $\mathrm{Var}(X) = E[X^2] - (E[X])^2$，先求 $E[X(X-1)]$（更方便）：

S1

计算下降阶乘矩 $E[X(X-1)] = p\sum_{k=2}^\infty k(k-1)q^{k-1}$。

对 $\sum kq^{k-1} = \tfrac{1}{p^2}$ 再对 $q$ 求导：

\frac{d}{dq}\sum_{k=1}^\infty kq^{k-1} = \sum_{k=2}^\infty k(k-1)q^{k-2} = \frac{2}{(1-q)^3} = \frac{2}{p^3}

故 $\sum_{k=2}^\infty k(k-1)q^{k-1} = \dfrac{2q}{p^3}$。

S2

E[X(X-1)] = p\cdot\frac{2q}{p^3} = \frac{2q}{p^2}

S3

E[X^2] = E[X(X-1)] + E[X] = \frac{2q}{p^2} + \frac{1}{p} = \frac{2q+p}{p^2} = \frac{1+q}{p^2}

S4

\mathrm{Var}(X) = E[X^2] - \left(\frac{1}{p}\right)^2 = \frac{1+q}{p^2} - \frac{1}{p^2} = \frac{q}{p^2} = \boxed{\frac{1-p}{p^2}}

方法二：条件方差法 (Law of Total Variance)

设 $I$ 为第一次试验结果（1=成功，0=失败）。由全方差公式：

\mathrm{Var}(X) = E[\mathrm{Var}(X|I)] + \mathrm{Var}(E[X|I])

条件均值：$E[X|I=1]=1,\quad E[X|I=0]=1+\mu=1+\tfrac1p$。

所以 $E[X|I]$ 取值 1（概率 $p$）或 $1+\tfrac1p$（概率 $q$）：

\mathrm{Var}(E[X|I]) = pq\left(\frac{1}{p}\right)^2 = \frac{q}{p}

条件方差：$\mathrm{Var}(X|I=1)=0,\quad \mathrm{Var}(X|I=0)=\mathrm{Var}(X)=\sigma^2$。

E[\mathrm{Var}(X|I)] = q\sigma^2

代入：

\sigma^2 = q\sigma^2 + \frac{q}{p} \implies p\sigma^2 = \frac{q}{p} \implies \sigma^2 = \frac{q}{p^2} = \frac{1-p}{p^2}

🔢

Negative Binomial Distribution

负二项分布

NB(r, p) — Generalizes Geometric: r = 1 gives Geo(p)

Mean 均值

$\displaystyle E[X] = \frac{r}{p}$

Variance 方差

$\displaystyle \mathrm{Var}(X) = \frac{r(1-p)}{p^2}$

Definition 定义

每次独立试验成功概率为 $p$。$X$ 为第 $r$ 次成功所需的总试验次数，$r\in\mathbb{Z}^+$。

前 $k-1$ 次试验中恰好有 $r-1$ 次成功（$\binom{k-1}{r-1}$ 种选法），第 $k$ 次必须成功。

$\displaystyle P(X=k) = \binom{k-1}{r-1}p^r(1-p)^{k-r}, \quad k = r,\, r{+}1,\, r{+}2,\, \ldots$

Equivalently: number of failures $Y = X - r \sim $ NB(r,p) with support $\{0,1,2,\ldots\}$

Mean 均值推导 $E[X] = \dfrac{r}{p}$

🔑 核心思路：分解为 $r$ 个独立几何分布之和

第 $r$ 次成功等于：第1次成功的等待时间 $T_1$，加上第2次成功的额外等待时间 $T_2$，…… 其中 $T_1, T_2, \ldots, T_r\stackrel{\text{iid}}{\sim}\mathrm{Geo}(p)$，且 $$X = T_1 + T_2 + \cdots + T_r$$

S1

由期望的线性性：

E[X] = E[T_1] + E[T_2] + \cdots + E[T_r] = r\cdot E[T_1] = r\cdot\frac{1}{p} = \boxed{\frac{r}{p}}

方法二：直接求和（负二项级数）

利用公式 $\displaystyle\sum_{k=r}^\infty \binom{k-1}{r-1}q^{k-r}=\frac{1}{p^r}\cdot p^r = ??$，更优雅地：

E[X] = \sum_{k=r}^\infty k\binom{k-1}{r-1}p^r q^{k-r}

利用恒等式 $k\binom{k-1}{r-1} = r\binom{k}{r}$：

E[X] = r\,p^r\sum_{k=r}^\infty\binom{k}{r}q^{k-r} \cdot \frac{1}{p}

利用负二项级数 $\sum_{k=r}^\infty\binom{k}{r}q^{k-r} = \tfrac{1}{p^{r+1}}$（对应 $\tfrac{1}{(1-q)^{r+1}}$ 的系数），整理得 $E[X]=\tfrac{r}{p}$。

关键恒等式

$k\binom{k-1}{r-1} = r\binom{k}{r}$ 可验证：左 $= k\cdot\tfrac{(k-1)!}{(r-1)!(k-r)!} = r\cdot\tfrac{k!}{r!(k-r)!} = r\binom{k}{r}$ ✓

Variance 方差推导 $\mathrm{Var}(X) = \dfrac{r(1-p)}{p^2}$

S1

由于 $X = T_1+\cdots+T_r$，$T_i$ 相互独立，方差具有可加性：

\mathrm{Var}(X) = \mathrm{Var}(T_1)+\cdots+\mathrm{Var}(T_r) = r\cdot\mathrm{Var}(T_1) = r\cdot\frac{1-p}{p^2} = \boxed{\frac{r(1-p)}{p^2}}

Summary of Elegance

负二项 = $r$ 个几何的和，所以均值方差都直接乘以 $r$。面试时能说出这一点是最漂亮的答法。

验证：用 E[X²] 直接计算（完整版）

令 $q=1-p$，需要 $E[X(X-1)]$：

E[X(X-1)] = \sum_{k=r}^\infty k(k-1)\binom{k-1}{r-1}p^rq^{k-r}

利用恒等式 $k(k-1)\binom{k-1}{r-1} = r(r+1)\binom{k}{r+1}$（类似前面的推导）：

E[X(X-1)] = r(r+1)\,\frac{p^r}{p}\sum_{k=r+1}^\infty\binom{k}{r+1}q^{k-r-1}\cdot\frac{q}{p}

= r(r+1)\cdot\frac{q}{p^2}\cdot\frac{1}{p^r}\cdot p^r = \frac{r(r+1)q}{p^2}

故：

E[X^2] = E[X(X-1)] + E[X] = \frac{r(r+1)q}{p^2} + \frac{r}{p}

\mathrm{Var}(X) = \frac{r(r+1)q}{p^2} + \frac{r}{p} - \frac{r^2}{p^2} = \frac{r(r+1)q + rp - r^2}{p^2} = \frac{r[q(r+1)+p-r]}{p^2}

= \frac{r[rq+q+p-r]}{p^2} = \frac{r[r(q-1)+(q+p)]}{p^2} = \frac{r[-rp+1]}{p^2} \quad\Leftarrow \text{wait}

更直接地展开：$r(r+1)q + rp - r^2 = r[(r+1)q+p-r] = r[rq+q+p-r] = r[r(q-1)+1] = r[-rp+1]$... 让我直接展开：

r(r{+}1)q + rp - r^2 = r^2q + rq + rp - r^2 = r^2(q{-}1) + r(q{+}p) = -r^2p + r = r(1{-}rp)

这不对。重新来：

r^2q + rq + rp - r^2 = r^2q - r^2 + r(q+p) = r^2(q-1) + r\cdot 1 = -r^2p + r = r(1-rp)

似乎有误，应等于 $rq$。检查：$rq = r(1-p)$。用 $r=1$ 验证：$E[X^2]-E[X]^2 = \tfrac{1+q}{p^2}-\tfrac{1}{p^2}=\tfrac{q}{p^2}$。对 $r=1$，公式给 $\tfrac{q}{p^2}$ ✓。

再来：$\tfrac{r(r+1)q}{p^2}+\tfrac{r}{p}-\tfrac{r^2}{p^2} = \tfrac{r^2q+rq+rp-r^2}{p^2} = \tfrac{r^2(q-1)+r(q+p)}{p^2} = \tfrac{-r^2p+r}{p^2} = \tfrac{r(1-rp)}{p^2}$。验证 $r=1$：$\tfrac{1-p}{p^2}=\tfrac{q}{p^2}$ ✓。而 $\tfrac{r(1-rp)}{p^2}|_{r=1} = \tfrac{1-p}{p^2}$ ✓。实际上这等价于 $\tfrac{rq}{p^2}$ 当 $rp+rq = r$，即 $1-rp = rq+(1-r)$... 不对，直接验证 $r=2$: $\tfrac{2(1-2p)}{p^2}\neq\tfrac{2q}{p^2}$ unless $1-2p=q$... $1-2p \ne 1-p=q$。所以我计算有误。

修正：利用更简单的方法——直接用独立性：$\mathrm{Var}(X)=r\cdot\mathrm{Var}(T_1) = r\cdot\tfrac{q}{p^2}$。

🎲

Hypergeometric Distribution

超几何分布

HyperGeo(N, K, n) — Sampling Without Replacement

Mean 均值

$\displaystyle E[X] = \frac{nK}{N}$

Variance 方差

$\displaystyle \mathrm{Var}(X) = n\cdot\frac{K}{N}\cdot\frac{N-K}{N}\cdot\frac{N-n}{N-1}$

Definition 定义 — Parameters: $N, K, n$

$N$ — 总体大小（Population size）
$K$ — 总体中"成功"个数（Number of successes in population）
$n$ — 抽取样本量（Sample size drawn without replacement）
$X$ — 样本中成功个数（Number of successes in sample）

$\displaystyle P(X=k) = \frac{\dbinom{K}{k}\dbinom{N-K}{n-k}}{\dbinom{N}{n}}, \quad \max(0,\,n{-}(N{-}K)) \le k \le \min(n,\,K)$

vs. Binomial(n, K/N): same mean but smaller variance — "without replacement" reduces spread

Mean 均值推导 $E[X] = \dfrac{nK}{N}$

🔑 核心思路：指示变量分解 (Indicator Variables)

设第 $i$ 次抽取是否为"成功"的指示变量为 $X_i$（$i=1,\ldots,n$），则 $X = X_1 + X_2 + \cdots + X_n$。由对称性，每次抽到成功的概率均为 $P(X_i=1) = K/N$（无论是否放回，每个位置等概率）。

S1

由期望的线性性（无需独立性！）：

E[X] = \sum_{i=1}^n E[X_i] = n\cdot\frac{K}{N} = \boxed{\frac{nK}{N}}

为什么 P(X_i = 1) = K/N？对称性论证

无放回抽样中，第 $i$ 个位置抽到特定元素的概率不依赖 $i$，因为所有 $N!$ 种排列等可能。形式上：

P(X_i = 1) = \frac{\text{包含 X}_i\text{=1 的样本数}}{\text{总样本数}} = \frac{\binom{K}{1}\binom{N-1}{n-1}}{\binom{N}{n}} = \frac{K\cdot\frac{(N-1)!}{(n-1)!(N-n)!}}{\frac{N!}{n!(N-n)!}} = \frac{K\cdot n}{N} \cdot\frac{1}{n}

Wait, let's redo: $P(X_i=1)$ = (ways to pick 1 success for position $i$) × (ways for other $n-1$ positions) / total = the marginal probability that position $i$ is a success. By symmetry of all positions:

P(X_i=1) = \frac{K}{N}

Direct check: $\sum_i E[X_i] = nK/N$. Also $E[X] = \sum_k k P(X=k)$ must equal $nK/N$ — this is consistent. The key insight is that "which position gets which ball" is uniform, so each position has the same marginal probability of being a success.

直接求和法（利用超几何恒等式）

E[X] = \sum_{k=0}^{\min(n,K)} k\frac{\binom{K}{k}\binom{N-K}{n-k}}{\binom{N}{n}}

利用恒等式 $k\binom{K}{k} = K\binom{K-1}{k-1}$：

E[X] = \frac{K}{\binom{N}{n}}\sum_{k=1}^{\min(n,K)}\binom{K-1}{k-1}\binom{N-K}{n-k}

令 $j=k-1$，利用 Vandermonde 卷积 $\sum_j\binom{K-1}{j}\binom{N-K}{n-1-j} = \binom{N-1}{n-1}$：

E[X] = \frac{K\binom{N-1}{n-1}}{\binom{N}{n}} = K\cdot\frac{\frac{(N-1)!}{(n-1)!(N-n)!}}{\frac{N!}{n!(N-n)!}} = K\cdot\frac{n}{N} = \frac{nK}{N}

Variance 方差推导 $\mathrm{Var}(X) = n\dfrac{K}{N}\dfrac{N-K}{N}\dfrac{N-n}{N-1}$

仍用指示变量法。令 $p_0=K/N$，$q_0=1-p_0=(N-K)/N$。

S1

各指示变量的方差：

\mathrm{Var}(X_i) = E[X_i^2]-(E[X_i])^2 = \frac{K}{N} - \left(\frac{K}{N}\right)^2 = \frac{K}{N}\cdot\frac{N-K}{N} = p_0 q_0

S2

协方差 $\mathrm{Cov}(X_i, X_j)$（$i\ne j$）：

计算 $E[X_i X_j] = P(X_i=1, X_j=1)$，即两次都抽到"成功"的概率：

E[X_i X_j] = P(X_i=1,\,X_j=1) = \frac{K}{N}\cdot\frac{K-1}{N-1}

（第一次抽到成功概率 $K/N$，无放回后第二次条件概率 $(K-1)/(N-1)$。）

\mathrm{Cov}(X_i,X_j) = \frac{K(K-1)}{N(N-1)} - \frac{K^2}{N^2} = \frac{K}{N}\left[\frac{K-1}{N-1}-\frac{K}{N}\right]

= \frac{K}{N}\cdot\frac{N(K-1)-K(N-1)}{N(N-1)} = \frac{K}{N}\cdot\frac{NK-N-KN+K}{N(N-1)} = \frac{K}{N}\cdot\frac{K-N}{N(N-1)}

= -\frac{K(N-K)}{N^2(N-1)} = -\frac{p_0 q_0}{N-1}

S3

展开 $\mathrm{Var}(X)$：

\mathrm{Var}(X) = \mathrm{Var}\left(\sum_{i=1}^n X_i\right) = \sum_{i=1}^n\mathrm{Var}(X_i) + 2\sum_{i 共 \(n\) 个对角项，\(\binom{n}{2}=\tfrac{n(n-1)}{2}\) 个交叉项（每对出现一次，乘以2后共 \(n(n-1)\) 项）： $$\mathrm{Var}(X) = n\cdot p_0 q_0 + n(n-1)\cdot\left(-\frac{p_0 q_0}{N-1}\right)

S4

提取公因子 $n\cdot p_0 q_0$：

\mathrm{Var}(X) = n\, p_0 q_0\left[1 - \frac{n-1}{N-1}\right] = n\,p_0 q_0\cdot\frac{N-1-(n-1)}{N-1} = n\,p_0 q_0\cdot\frac{N-n}{N-1}

\boxed{\mathrm{Var}(X) = n\cdot\frac{K}{N}\cdot\frac{N-K}{N}\cdot\frac{N-n}{N-1}}

有限总体修正因子 · Finite Population Correction (FPC)

与二项分布 $B(n,p_0)$ 方差 $np_0 q_0$ 相比，超几何方差多了一个乘子：

\mathrm{Var}(\text{Hyper}) = \mathrm{Var}(\text{Binom})\times\underbrace{\frac{N-n}{N-1}}_{\text{FPC} \le 1}

当 $N\to\infty$（总体很大），FPC $\to 1$，超几何 → 二项。
当 $n=N$（全部抽走），FPC $=0$，方差 $=0$（此时 $X=K$ 确定）。
无放回抽样比有放回方差更小：因为同一总体中重复抽取会引入额外变异。

数值验证例：N=10, K=4, n=3

均值：$E[X]=3\times4/10=1.2$。

方差：$3\times(4/10)\times(6/10)\times(7/9)=3\times0.24\times(7/9)=0.72\times0.7\overline{7}=0.56$。

二项方差：$3\times0.4\times0.6=0.72$，超几何方差 $=0.72\times(7/9)\approx0.56$ < 0.72 ✓（无放回方差更小）。

⚡

Poisson Distribution

泊松分布

Pois(λ) — Rare Events / Limit of Binomial

Mean 均值

$\displaystyle E[X] = \lambda$

Variance 方差

$\displaystyle \mathrm{Var}(X) = \lambda$

Definition 定义 — Parameter: $\lambda > 0$

$\lambda$ — 单位时间（或区域）内事件的平均发生次数（rate）
$X$ — 实际发生次数（Number of events in a fixed interval）

$\displaystyle P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0,\,1,\,2,\,\ldots$

Support: $\{0, 1, 2, \ldots\}$ — 注意包含 0

Mean 均值推导 $E[X] = \lambda$

S1

写出期望：

E[X] = \sum_{k=0}^{\infty} k \cdot \frac{\lambda^k e^{-\lambda}}{k!} = \sum_{k=1}^{\infty} \frac{\lambda^k e^{-\lambda}}{(k-1)!}

S2

令 $j = k-1$，提取 $\lambda$：

E[X] = \lambda e^{-\lambda} \sum_{j=0}^{\infty} \frac{\lambda^j}{j!} = \lambda e^{-\lambda} \cdot e^{\lambda} = \boxed{\lambda}

极限推导：Poisson 作为 Binom(n,p) 的极限

令 $n\to\infty,\;p\to 0$，保持 $\lambda = np$ 不变（稀有事件极限）。

P(\text{Binom}=k) = \binom{n}{k}p^k(1-p)^{n-k} \xrightarrow{n\to\infty,\,np=\lambda} \frac{\lambda^k e^{-\lambda}}{k!}

均值自然继承：$E[\text{Binom}] = np = \lambda$，取极限后 Poisson 均值也为 $\lambda$。

规则of thumb

当 $n \ge 20$ 且 $p \le 0.05$ 时，Binomial$(n,p)$ 可用 Poisson$(\lambda=np)$ 近似。

Variance 方差推导 $\mathrm{Var}(X) = \lambda$

利用下降阶乘矩 $E[X(X-1)]$ 计算二阶矩。

S1

计算 $E[X(X-1)]$：

E[X(X-1)] = \sum_{k=2}^{\infty} k(k-1)\frac{\lambda^k e^{-\lambda}}{k!} = \lambda^2 e^{-\lambda}\sum_{j=0}^{\infty}\frac{\lambda^j}{j!} = \lambda^2

（令 $j=k-2$，级数求和为 $e^\lambda$。）

S2

恢复 $E[X^2]$：

E[X^2] = E[X(X-1)] + E[X] = \lambda^2 + \lambda

S3

计算方差：

\mathrm{Var}(X) = E[X^2] - (E[X])^2 = \lambda^2 + \lambda - \lambda^2 = \boxed{\lambda}

⭐ 均值 = 方差 — Poisson 最重要的特征

Poisson 分布的均值与方差相等，均为 $\lambda$。实际数据中若 $\hat{\sigma}^2 \approx \bar{x}$，常用 Poisson 建模（如保险索赔次数、网页点击数）。

若 $\mathrm{Var}(X) > E[X]$（过度离散 overdispersion），则考虑负二项分布；若 $\mathrm{Var}(X) < E[X]$（欠离散），则考虑二项分布。

MGF 法验证

Poisson 的 MGF：$M_X(t) = e^{\lambda(e^t - 1)}$。

M_X'(t) = \lambda e^t \cdot M_X(t), \quad M_X'(0) = \lambda \cdot 1 = \lambda \checkmark

M_X''(t) = \lambda e^t M_X(t) + (\lambda e^t)^2 M_X(t), \quad M_X''(0) = \lambda + \lambda^2

\mathrm{Var}(X) = M_X''(0) - (M_X'(0))^2 = (\lambda+\lambda^2) - \lambda^2 = \lambda \checkmark

泊松过程背景：为什么均值=方差？

泊松过程是满足以下条件的计数过程：（1）事件独立；（2）在极短时间 $dt$ 内发生一次的概率为 $\lambda\,dt$；（3）$dt$ 内发生两次的概率可忽略。

将 $[0,1]$ 分成 $n$ 份，每份发生概率 $p = \lambda/n$。当 $n\to\infty$，每份独立，总计数 $\to \text{Pois}(\lambda)$。

这一"独立稀有叠加"结构天然导致均值 = 方差：离散事件的计数变异性与其期望强度完全匹配。

⚖️

Discrete Uniform Distribution

离散均匀分布

Uniform{a, …, b} — All Values Equally Likely

Mean 均值

$\displaystyle E[X] = \frac{a+b}{2}$

Variance 方差

$\displaystyle \mathrm{Var}(X) = \frac{(b-a+1)^2-1}{12} = \frac{(n^2-1)}{12}$

Definition 定义 — Parameters: $a \le b$（整数），$n = b - a + 1$

$X$ 在 $\{a, a+1, \ldots, b\}$ 上均匀分布，每个整数取到概率相等。

$\displaystyle P(X = k) = \frac{1}{n} = \frac{1}{b-a+1}, \quad k = a,\,a{+}1,\,\ldots,\,b$

Standard case: a=1, b=n → P(X=k)=1/n, the "fair die" model

Mean 均值推导 $E[X] = \dfrac{a+b}{2}$

S1

写出期望（WLOG 令 $a=1,b=n$ 再平移）：

E[X] = \frac{1}{n}\sum_{k=1}^{n} k = \frac{1}{n}\cdot\frac{n(n+1)}{2} = \frac{n+1}{2}

S2

一般参数通过平移 $Y = X - a + 1 \sim \text{Uniform}\{1,\ldots,n\}$：

E[X] = E[Y] + a - 1 = \frac{n+1}{2} + a - 1 = \frac{n+1}{2} + a - 1 = \frac{(b-a+1)+1}{2}+a-1 = \boxed{\frac{a+b}{2}}

对称性论证（最简法）

PMF 关于 $(a+b)/2$ 完全对称，因此均值 = 中位数 = 对称中心 $= \dfrac{a+b}{2}$。这是对称分布的通用结论，无需计算。

Variance 方差推导 $\mathrm{Var}(X) = \dfrac{n^2-1}{12}$，其中 $n = b-a+1$

S1

计算 $E[X^2]$（仍以 $a=1,b=n$ 为例）：

E[X^2] = \frac{1}{n}\sum_{k=1}^n k^2 = \frac{1}{n}\cdot\frac{n(n+1)(2n+1)}{6} = \frac{(n+1)(2n+1)}{6}

S2

计算方差：

\mathrm{Var}(X) = E[X^2]-(E[X])^2 = \frac{(n+1)(2n+1)}{6}-\left(\frac{n+1}{2}\right)^2

= (n+1)\left[\frac{2n+1}{6}-\frac{n+1}{4}\right] = (n+1)\cdot\frac{2(2n+1)-3(n+1)}{12} = (n+1)\cdot\frac{n-1}{12}

= \boxed{\frac{n^2-1}{12}}

🎲 骰子应用

标准六面骰（$n=6, a=1, b=6$）：均值 $= 3.5$，方差 $= (36-1)/12 = 35/12 \approx 2.917$。

一般区间 $[a,b]$ 上：平移不改变方差，故 $\mathrm{Var}(X) = \dfrac{(b-a+1)^2-1}{12}$。

$\sum_{k=1}^n k^2$ 公式的推导

用"telescoping"法：注意 $(k+1)^3 - k^3 = 3k^2 + 3k + 1$，对 $k=1$ 到 $n$ 求和得：

(n+1)^3 - 1 = 3\sum k^2 + 3\cdot\frac{n(n+1)}{2} + n

整理即得 $\sum_{k=1}^n k^2 = \dfrac{n(n+1)(2n+1)}{6}$。

速查表 · Cheat Sheet

All Seven Distributions at a Glance

Distribution	PMF	Support	Mean	Variance	Key Trick / Note
Bernoulli Bern(p)	$p^k(1-p)^{1-k}$	$\{0,1\}$	$p$	$p(1-p)$	$X^2=X$，方差最大于 $p=\tfrac{1}{2}$
Binomial Bin(n,p)	$\binom{n}{k}p^k(1-p)^{n-k}$	$\{0,\ldots,n\}$	$np$	$np(1-p)$	$n$ 个 iid Bern(p) 之和
Geometric Geo(p)	$(1-p)^{k-1}p$	$k=1,2,3,\ldots$	$\dfrac{1}{p}$	$\dfrac{1-p}{p^2}$	无记忆性；递推 $\mu=1+q\mu$
Neg. Binomial NB(r,p)	$\binom{k-1}{r-1}p^r(1-p)^{k-r}$	$k=r,r{+}1,\ldots$	$\dfrac{r}{p}$	$\dfrac{r(1-p)}{p^2}$	$r$ 个 iid Geo(p) 之和
Hypergeometric HG(N,K,n)	$\dfrac{\binom{K}{k}\binom{N-K}{n-k}}{\binom{N}{n}}$	$0\le k\le\min(n,K)$	$\dfrac{nK}{N}$	$n\dfrac{K}{N}\dfrac{N-K}{N}\dfrac{N-n}{N-1}$	无放回；FPC $=\tfrac{N-n}{N-1}\le 1$
Poisson Pois(λ)	$\dfrac{\lambda^k e^{-\lambda}}{k!}$	$k=0,1,2,\ldots$	$\lambda$	$\lambda$	均值 = 方差；Binom 极限
Discrete Uniform $\{a,\ldots,b\}$	$\dfrac{1}{b-a+1}$	$a,a{+}1,\ldots,b$	$\dfrac{a+b}{2}$	$\dfrac{(b-a+1)^2-1}{12}$	对称性 → 均值=中位数

家族关系 · Family Tree

Bern(p) ×n → Bin(n,p)
Bin(n,p) →^{$n\to\infty$} Pois(λ)
Geo(p) ×r → NB(r,p)
Hyper(N,K,n) →^{$N\to\infty$} Bin(n, K/N)

离散 vs 过度离散

对计数数据：

$\mathrm{Var} = E[X]$：Poisson
$\mathrm{Var} < E[X]$：Binomial（欠离散）
$\mathrm{Var} > E[X]$：NB（过度离散）

面试金句 · Interview One-Liners

Bernoulli：最简单；$X^2=X$ 是关键。Binomial：$n$ 个 Bern 之和，指示变量拆分秒推均值。Geometric：递推法一行求解 $E[X]=1/p$，无记忆性。NB：$r$ 个 Geo 之和，方差线性扩展。Hypergeometric：无放回，方差乘修正因子 $\tfrac{N-n}{N-1}$。Poisson：均值=方差=$\lambda$，稀有事件建模首选。离散均匀：对称取中点，方差用 $\sum k^2$ 公式。

↑ Back to Top

Distribution	PMF	Support	Mean	Variance	Key Trick / Note
Bernoulli Bern(p)	\(p^k(1-p)^{1-k}\)	\(\{0,1\}\)	\(p\)	\(p(1-p)\)	\(X^2=X\)，方差最大于 \(p=\tfrac{1}{2}\)
Binomial Bin(n,p)	\(\binom{n}{k}p^k(1-p)^{n-k}\)	\(\{0,\ldots,n\}\)	\(np\)	\(np(1-p)\)	\(n\) 个 iid Bern(p) 之和
Geometric Geo(p)	\((1-p)^{k-1}p\)	\(k=1,2,3,\ldots\)	\(\dfrac{1}{p}\)	\(\dfrac{1-p}{p^2}\)	无记忆性；递推 \(\mu=1+q\mu\)
Neg. Binomial NB(r,p)	\(\binom{k-1}{r-1}p^r(1-p)^{k-r}\)	\(k=r,r{+}1,\ldots\)	\(\dfrac{r}{p}\)	\(\dfrac{r(1-p)}{p^2}\)	\(r\) 个 iid Geo(p) 之和
Hypergeometric HG(N,K,n)	\(\dfrac{\binom{K}{k}\binom{N-K}{n-k}}{\binom{N}{n}}\)	\(0\le k\le\min(n,K)\)	\(\dfrac{nK}{N}\)	\(n\dfrac{K}{N}\dfrac{N-K}{N}\dfrac{N-n}{N-1}\)	无放回；FPC \(=\tfrac{N-n}{N-1}\le 1\)
Poisson Pois(λ)	\(\dfrac{\lambda^k e^{-\lambda}}{k!}\)	\(k=0,1,2,\ldots\)	\(\lambda\)	\(\lambda\)	均值 = 方差；Binom 极限
Discrete Uniform \(\{a,\ldots,b\}\)	\(\dfrac{1}{b-a+1}\)	\(a,a{+}1,\ldots,b\)	\(\dfrac{a+b}{2}\)	\(\dfrac{(b-a+1)^2-1}{12}\)	对称性 → 均值=中位数

🔑 核心思路：指示变量分解 (Indicator Decomposition)

🔑 核心思路：分解为 \(r\) 个独立几何分布之和

🔑 核心思路：指示变量分解 (Indicator Variables)