跳到主要内容

大数定律

大数定律是叙述随机变量序列的前一些项的算术平均值在某种条件下收敛到这些项的均值的算术 平均值，它揭示了随机变量的收敛规律

切比雪夫大数定律​

切比雪夫不等式

设随机变量 XX 具有数学期望 E(X)=μE(X) = \mu, 方差 D(X)=σ2D(X) = \sigma^2, 且E(x)E(x)和D(x)D(x)存在且有界， 则对于任意正数 ε\varepsilon, 我们有不等式

P(∣X−μ∣⩾ε)⩽σ2ε2\begin{aligned} P(|X - \mu| \geqslant \varepsilon) \leqslant \frac{\sigma^2}{\varepsilon^2} \end{aligned}

知道随机变量总体的均值和方差时， 可用切比雪夫不等式来估算一定条件下的概率

设 X1,X2,⋯Xn,⋯X_1, X_2, \cdots X_n, \cdots 是相互独立的随机变量， 且具有有限的数学期望 E(X1),E(X2),⋯ ,E(Xn),⋯E(X_1), E(X_2),\cdots,E(X_n),\cdots和有限的方差 D(X1),D(X2),⋯ ,D(Xn),⋯D(X_1), D(X_2),\cdots, D(X_n),\cdots 。 若存在常数 CC 使 D(Xk)⩽C,k=1,2,⋯D(X_k) \leqslant C, k = 1, 2, \cdots (即方差一致有界), 有

lim⁡n→∞P{∣1n∑k=1nXk−1n∑k=1nE(Xk)∣⩾ε}=0\begin{aligned} \lim_{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{k=1}^{n} X_{k} - \frac{1}{n} \sum_{k=1}^{n} E(X_{k}) \right| \geqslant \varepsilon\right\}=0 \end{aligned}

其证明会用到马尔可夫大数定律

马尔可夫大数定律: 设随机变量 {Xn}\{X_n\} 满足 1n2D(∑k=1nXk)→0(n→∞)\frac{1}{n^2}D(\sum_{k=1}^{n}X_k)\rightarrow0(n\rightarrow \infty), 则{Xn}\{X_n\} 满足马尔可夫大数定律

切比雪夫大数定律揭示了样本均值和真实期望的关系， 将该公式应用于抽样调查，就会有如下结论：随着样本容量n的增加，样本平均数将接近于总体平均数。从而为统计推断中依据样本平均数估计总体平均数提供了理论依据。

独立同分布大数定律​

独立同分布大数定律也叫弱大数定律或者辛钦大数定律

设 X1,X2,⋯X_1, X_2, \cdots 是相互独立， 服从同一分布的随机变量序列， 且具有数学期望 E(Xk)=μ(k=1,2,⋯ )E(X_k) = \mu (k = 1,2,\cdots)。 做前nn个变量的算术平均 1n∑k=1nXk\frac{1}{n}\sum_{k=1}^{n}X_k (因为是独立同分布的，所以所有的随机变量的期望是一样的), 则对于任意 ε>0\varepsilon > 0, 有

lim⁡n→∞P{∣1n∑k=1nXk−μ∣⩾ε}=0\begin{aligned} \lim_{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{k=1}^{n} X_{k}-\mu\right| \geqslant \varepsilon\right\}=0 \end{aligned}

辛钦大数定律揭示了算术平均值和数学期望的关系。换言之，1n∑k=1nXk⟶Pμ\frac{1}{n}\sum_{k=1}^{n}X_k \stackrel{P}{\longrightarrow} \mu。独立同分布大数定律给出了频率稳定性的严格数学定义， 即大量独立随机观测的平均值依概率收敛于分布的期望值。因此, 对于一些具有随机性的测量结果，以多次测量的平均值作为测量值会更加准确。

伯努利大数定律​

设 fAf_A 是 nn 次独立重复试验中事件 AA 发生的次数，pp 是事件 AA 在每次试验中发生的概率，则对于任意正数 ε>0\varepsilon>0,有

lim⁡n→∞P{∣fAn−p∣⩾ε}=0\begin{aligned} \lim _{n \rightarrow \infty} P\left\{\left|\frac{f_{A}}{n}-p\right| \geqslant \varepsilon\right\}=0 \end{aligned}

换言之, 事件 AA 发生的频率与 AA 发生的概率 pp 的偏差小于任意正数 ε\varepsilon 的概率趋向于 1, fAn⟶Pp\frac{f_{A}}{n} \stackrel{P}{\longrightarrow} p, 这从理论上说明了频率的稳定性

关系​

伯努利大数定律是300年前瑞士数学家伯努利潜心研究20年证明出来的，是人类历史上第一个严格证明的大数定律。它是辛钦大数定律的特殊情况，不过由于它有一定的历史意义并且二项分布的大数定律在日常生活中最为常见，所以编教材的人喜欢把这个大数定律单独列出来。

切比雪夫大数定律和辛钦大数定律针对的是两种不同的情况，谁也不是谁的特例。切比雪夫大数定律说的是一列独立变量（可以不同分布）的均值收敛到一个常数，但前提是每个变量的期望和方差均存在且有限，并且满足方差的平均值是样本数n的高阶无穷小这一额外条件。

辛钦大数定律是说一列独立同分布的随机变量的均值收敛到一个常数，条件是分布的绝对期望存在且有限就够了。对两个大数定律做一总结，就是切比雪夫大数定律不要求随机变量有相同分布但是成立的条件更加严格，辛钦大数定律要求同分布不过是在比较弱的条件下就成立。

大数定律分布期望方差用途
切比雪夫独立存在且有界存在且有界估算期望
辛钦独立同分布存在没有要求估算期望
伯努利二项分布存在没有要求估算概率

伯努利大数定律实际上是辛钦的弱化， 限定在了 0-1 二项分布中