4. 概率论基础 (Fundamentals of Probability)

4.1 基本概念

随机变量与样本空间

  • 样本空间 SS：所有可能结果的集合

    S≡{x1,x2,…}S \equiv \{x_1, x_2, \ldots\}

  • 离散随机变量（有限或可数无限）：

    • 硬币抛掷：Scoin={正面,反面}S_{\text{coin}} = \{\text{正面}, \text{反面}\}
    • 骰子投掷：Sdice={1,2,3,4,5,6}S_{\text{dice}} = \{1,2,3,4,5,6\}

  • 连续随机变量：

    • 气体分子速度：Sv={−∞<vx,vy,vz<+∞}S_v = \{-\infty < v_x, v_y, v_z < +\infty\}
    • 金属中电子能量（T=0K）：Sε={0⩽ε⩽εF}S_\varepsilon = \{0 \leqslant \varepsilon \leqslant \varepsilon_F\}

事件与概率公理

  • 事件：样本空间的子集 E⊆SE \subseteq S
  • 概率函数 P(E)P(E) 满足：
    1. 非负性：P(E)⩾0P(E) \geqslant 0
    2. 可加性：若 AA 与 BB 互斥，则 P(A∪B)=P(A)+P(B)P(A \cup B) = P(A) + P(B)
    3. 归一性：P(S)=1P(S) = 1

概率解释的两种观点

  1. 频率派（客观概率）：

    P(A)=lim⁡N→∞NANP(A) = \lim_{N \to \infty} \frac{N_A}{N}

    通过大量重复实验获得

  2. 贝叶斯派（主观概率）：
    基于现有信息的不确定性度量，随新信息更新

4.2 随机变量及其性质

连续随机变量

设 XX 为连续随机变量，SX={−∞<x<+∞}S_X = \{-\infty < x < +\infty\}

  • 累积分布函数 (CDF)：

    P(x)=Prob⁡(X⩽x)P(x) = \operatorname{Prob}(X \leqslant x)

    性质：

    {P(−∞)=0P(+∞)=1P(x2)⩾P(x1)当x2>x1\begin{cases} P(-\infty) = 0 \\ P(+\infty) = 1 \\ P(x_2) \geqslant P(x_1) \quad \text{当} \quad x_2 > x_1 \end{cases}

  • 概率密度函数 (PDF)：

    p(x)≡dP(x)dxp(x) \equiv \frac{dP(x)}{dx}

    性质：

    {p(x)⩾0∫−∞+∞p(x)dx=1Prob⁡(x∈[a,b])=∫abp(x)dx\begin{cases} p(x) \geqslant 0 \\ \int_{-\infty}^{+\infty} p(x) dx = 1 \\ \operatorname{Prob}(x \in [a,b]) = \int_a^b p(x) dx \end{cases}

随机变量函数的期望

  • 函数 F(X)F(X) 的期望值：

    ⟨F(X)⟩=∫−∞+∞F(x)p(x)dx\langle F(X) \rangle = \int_{-\infty}^{+\infty} F(x) p(x) dx

  • F(X)F(X) 的概率密度：

    pF(f)df=Prob⁡(F(X)∈[f,f+df])p_F(f) df = \operatorname{Prob}(F(X) \in [f, f+df])

    对于多解情况：

    pF(f)=∑解p(x)∣dF/dx∣∣x=xip_F(f) = \sum_{\text{解}} \left. \frac{p(x)}{|dF/dx|} \right|_{x=x_i}

矩与特征函数

  • nn阶矩：

    mn≡⟨Xn⟩=∫−∞+∞xnp(x)dxm_n \equiv \langle X^n \rangle = \int_{-\infty}^{+\infty} x^n p(x) dx

  • 特征函数（矩生成函数）：

    p~(k)≡⟨eikX⟩=∫−∞+∞p(x)eikxdx\tilde{p}(k) \equiv \langle e^{ikX} \rangle = \int_{-\infty}^{+\infty} p(x) e^{ikx} dx

    性质：

    p~(k)=∑n=0∞(−ik)nn!⟨Xn⟩\tilde{p}(k) = \sum_{n=0}^{\infty} \frac{(-ik)^n}{n!} \langle X^n \rangle

    逆变换：

    p(x)=12π∫−∞+∞p~(k)e−ikxdkp(x) = \frac{1}{2\pi} \int_{-\infty}^{+\infty} \tilde{p}(k) e^{-ikx} dk

累积量展开

特征函数可表示为累积量生成函数：

ln⁡p~(k)=∑n=1∞(−ik)nn!⟨Xn⟩c\ln \tilde{p}(k) = \sum_{n=1}^{\infty} \frac{(-ik)^n}{n!} \langle X^n \rangle_c

前四阶累积量与矩的关系：

⟨X⟩c=⟨X⟩⟨X2⟩c=⟨X2⟩−⟨X⟩2⟨X3⟩c=⟨X3⟩−3⟨X⟩⟨X2⟩+2⟨X⟩3⟨X4⟩c=⟨X4⟩−4⟨X⟩⟨X3⟩−3⟨X2⟩2+12⟨X⟩2⟨X2⟩−6⟨X⟩4\begin{aligned} \langle X \rangle_c &= \langle X \rangle \\ \langle X^2 \rangle_c &= \langle X^2 \rangle - \langle X \rangle^2 \\ \langle X^3 \rangle_c &= \langle X^3 \rangle - 3\langle X \rangle \langle X^2 \rangle + 2\langle X \rangle^3 \\ \langle X^4 \rangle_c &= \langle X^4 \rangle - 4\langle X \rangle \langle X^3 \rangle - 3\langle X^2 \rangle^2 + 12\langle X \rangle^2 \langle X^2 \rangle - 6\langle X \rangle^4 \end{aligned}

4.3 中心极限定理 (Central Limit Theorem)

核心概念

设 X1,X2,…,XnX_1, X_2, \ldots, X_n 是独立同分布的随机变量：

  • 均值：μ=⟨Xi⟩\mu = \langle X_i \rangle
  • 方差：σ2=⟨(Xi−μ)2⟩\sigma^2 = \langle (X_i - \mu)^2 \rangle

定义标准化和：

Zn=1nσ∑i=1n(Xi−μ)Z_n = \frac{1}{\sqrt{n}\sigma} \sum_{i=1}^n (X_i - \mu)

当 n→∞n \to \infty 时：

lim⁡n→∞P(Zn⩽z)=Φ(z)=12π∫−∞ze−t2/2dt\lim_{n \to \infty} P(Z_n \leqslant z) = \Phi(z) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^z e^{-t^2/2} dt

证明思路

  1. 考虑和 Sn=∑i=1nXiS_n = \sum_{i=1}^n X_i 的特征函数
  2. 标准化变量 Zn=Sn−nμσnZ_n = \frac{S_n - n\mu}{\sigma\sqrt{n}}
  3. 证明 ZnZ_n 的特征函数收敛到高斯特征函数：

    lim⁡n→∞⟨eikZn⟩=e−k2/2\lim_{n \to \infty} \langle e^{ikZ_n} \rangle = e^{-k^2/2}

物理意义

  • 大量微小独立随机效应的叠加导致高斯分布
  • 解释统计物理中平衡态的高斯分布普遍性
  • 测量误差的理论基础

附录：重要概率分布

分布类型 概率密度函数 p(x)p(x) 均值 方差
高斯分布 12πσ2e−(x−μ)22σ2\frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} μ\mu σ2\sigma^2
指数分布 λe−λx(x≥0)\lambda e^{-\lambda x} \quad (x \geq 0) 1λ\frac{1}{\lambda} 1λ2\frac{1}{\lambda^2}
均匀分布 1b−a(a≤x≤b)\frac{1}{b-a} \quad (a \leq x \leq b) a+b2\frac{a+b}{2} (b−a)212\frac{(b-a)^2}{12}
泊松分布 λke−λk!(k=0,1,2,…)\frac{\lambda^k e^{-\lambda}}{k!} \quad (k=0,1,2,\ldots) λ\lambda λ\lambda