staphy-lecture2

5. 概率分布与极限定理

5.1 二项分布的特征函数

二项分布概率质量函数

设$N_A$为$N$次独立伯努利试验中事件A发生的次数：

$$P(N_A) = \binom{N}{N_A} p_A^{N_A} (1-p_A)^{N-N_A}$$

特征函数

$$\begin{aligned} \tilde{P}_N(k) &= \langle e^{-ikN_A} \rangle \\ &= \sum_{N_A=0}^N \binom{N}{N_A} p_A^{N_A} (1-p_A)^{N-N_A} e^{-ikN_A} \\ &= [p_A e^{-ik} + (1-p_A)]^N \end{aligned}$$

累积量生成函数

$$\ln \tilde{P}_N(k) = N \ln [p_A e^{-ik} + (1-p_A)]$$

累积量关系

• 单次试验累积生成函数：

  $$\ln \tilde{P}_1(k) = \ln [p_A e^{-ik} + (1-p_A)]$$

• $N$次试验累积量：

  $$\langle N_A^n \rangle_c = N \langle X^n \rangle_c$$

  其中$X$为单次伯努利随机变量

前两阶累积量：

$$\begin{aligned} \text{均值: } \langle N_A \rangle &= N p_A \\ \text{方差: } \sigma^2 &= N p_A (1-p_A) \end{aligned}$$

涨落性质

• 绝对涨落：$\sigma \sim \sqrt{N}$
• 相对涨落：$\frac{\sigma}{\langle N_A \rangle} \sim \frac{1}{\sqrt{N}} \to 0 \quad (N \to \infty)$

5.2 多项分布与泊松分布

多项分布

设样本空间$S = \{A, B, \dots, M\}$，概率$\{p_A, p_B, \dots, p_M\}$：

$$P(\{N_i\}) = \frac{N!}{N_A! N_B! \cdots N_M!} p_A^{N_A} p_B^{N_B} \cdots p_M^{N_M}$$

其中$N = \sum_i N_i$

泊松分布（放射性衰变模型）

假设：

1. 在$[t, t+dt]$内发生衰变的概率为$\alpha dt$
2. 不同时间间隔的衰变相互独立

在时间$T$内观测到$M$次衰变的概率：

$$P(M) = \frac{(\alpha T)^M e^{-\alpha T}}{M!}$$

泊松分布性质

• 特征函数：$\tilde{p}(k) = e^{\alpha T(e^{-ik}-1)}$
• 累积量：$\langle M^n \rangle_c = \alpha T \quad (\forall n)$
  • 所有阶累积量相等
  • 方差$\sigma^2 = \alpha T$
• 二项分布极限：

  $$\lim_{\substack{N \to \infty \\ p \to 0 \\ N p = \lambda}} \binom{N}{k} p^k (1-p)^{N-k} = \frac{\lambda^k e^{-\lambda}}{k!}$$

5.3 多维随机变量

联合概率密度

设$\vec{X} = (X_1, \dots, X_N)^T$，联合概率密度函数$p(\vec{x})$满足：

$$\int_{\mathbb{R}^N} p(\vec{x}) d^N x = 1$$

边缘概率密度

子集$\{X_1, \dots, X_m\}$的边缘分布：

$$p(x_1, \dots, x_m) = \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} p(\vec{x}) dx_{m+1} \cdots dx_N$$

条件概率密度

给定$X_{m+1} = x_{m+1}, \dots, X_N = x_N$，条件概率：

$$p(x_1,\dots,x_m | x_{m+1},\dots,x_N) = \frac{p(\vec{x})}{p(x_{m+1},\dots,x_N)}$$

联合特征函数

$$\tilde{p}(\vec{k}) = \langle e^{-i\vec{k}\cdot\vec{X}} \rangle = \int_{\mathbb{R}^N} p(\vec{x}) e^{-i\sum_{j=1}^N k_j x_j} d^N x$$

联合累积量

$$\langle X_1^{m_1} \cdots X_N^{m_N} \rangle_c = \left. \left( \frac{\partial}{\partial (-ik_1)} \right)^{m_1} \cdots \left( \frac{\partial}{\partial (-ik_N)} \right)^{m_N} \ln \tilde{p}(\vec{k}) \right|_{\vec{k}=0}$$

5.4 联合高斯分布

概率密度函数

$$p(\vec{x}) = \frac{1}{(2\pi)^{N/2} \sqrt{\det C}} \exp\left( -\frac{1}{2} (\vec{x} - \vec{\mu})^T C^{-1} (\vec{x} - \vec{\mu}) \right)$$

其中：

• $\vec{\mu} = \langle \vec{X} \rangle$：均值向量
• $C$：协方差矩阵，$C_{ij} = \langle (X_i - \mu_i)(X_j - \mu_j) \rangle$

特征函数

$$\tilde{p}(\vec{k}) = \exp\left( -i\vec{k}\cdot\vec{\mu} - \frac{1}{2} \vec{k}^T C \vec{k} \right)$$

累积量

$$\begin{aligned} \langle X_i \rangle_c &= \mu_i \\ \langle X_i X_j \rangle_c &= C_{ij} \\ \langle X_{i_1} \cdots X_{i_n} \rangle_c &= 0 \quad (n \geq 3) \end{aligned}$$

Wicks定理

高阶矩等于所有两两配对的乘积之和：

$$\langle X_{i_1} X_{i_2} \cdots X_{i_{2n}} \rangle = \sum_{\text{pairings}} \prod_{\text{pairs}} \langle X_{j} X_{k} \rangle$$

5.5 中心极限定理

标准化变量

设$\{X_i\}$为独立同分布随机变量：

$$Y = \frac{1}{\sigma \sqrt{N}} \sum_{i=1}^N (X_i - \mu)$$

其中$\mu = \langle X_i \rangle$，$\sigma^2 = \langle (X_i - \mu)^2 \rangle$

定理表述

当$N \to \infty$时，$Y$的概率密度收敛于标准正态分布：

$$\lim_{N \to \infty} p_Y(y) = \frac{1}{\sqrt{2\pi}} e^{-y^2/2}$$

证明思路

1. 计算$Y$的特征函数：

   $$\tilde{p}_Y(k) = \left[ \tilde{p}_X\left( \frac{k}{\sigma \sqrt{N}} \right) \right]^N e^{-i\sqrt{N}k\mu/\sigma}$$

2. 累积量展开：

   $$\ln \tilde{p}_Y(k) = N \ln \tilde{p}_X\left( \frac{k}{\sigma \sqrt{N}} \right) - i\sqrt{N}k\mu/\sigma$$

3. 取极限$N \to \infty$：

   $$\lim_{N \to \infty} \ln \tilde{p}_Y(k) = -\frac{k^2}{2}$$

应用条件

• 要求有限方差：$\sigma^2 < \infty$
• 对于方差无穷的分布（如Lévy分布），收敛于更一般的稳定分布
• 在统计物理中解释平衡态高斯分布的普遍性