# [006]-The Law of Large Numbers

> source: 文章/law-of-large-numbers/index.md

# [006]-The Law of Large Numbers

## 大数定律与赌徒谬误

**大数定律**(The Law of Large Numbers)经常与**赌徒谬误**(Gambler's Fallacy 或 蒙特卡洛谬误)相提并论

人们总是误以为一个随机事件的过去结果会影响它的未来结果，哪怕这些事件是独立的，最典型的例子就是抛硬币，假设我们抛了5次硬币全是正面，我们总会倾向于认为第六次很可能会出现反面，因为已经连续出现5次正面，这是一个极小概率发生的事情，因此错误地认为这个“世界”或是“系统”会“补偿”之前的过错，从而出现反面。同时我们又知道，每次抛硬币属于**独立随机事件**，即过去发生的结果并不会影响未来的概率，但即使我们都知道事实是这样，仍然倾向于相信下一次反面的几率会更大。在我真正理解大数定律之前，哪怕我掌握着理性和科学的思想和方法，我仍然对这个问题感到矛盾

大数定律简单来说描述的就是这样一件事：

随着试验次数$n \to \infty$，频率会趋近于理论概率

而这里的*大数*得多大才算足够大呢？理论上是无穷大，它是没有办法达到的，只要是我们能够举出来的数字，都不够大，假如说抛了1000次硬币，都是正面，这确实是一个极小概率发生的事，但既然它已经发生了，那就是过去的事了，这种情况下确实和理论概率差距很大，但是也并不意味着下一次抛出反面的概率会被补偿，我们可以这么想，对于已经发生的小概率事件，我们下次抛硬币，有50%的概率能够继续维持这样一个小概率事件，即抛1001次硬币，全都是正面呢

但是，我们也应当理解，继续抛硬币，正反面的次数将趋近于相等，但不是立即反向。大数定律不是用理论上的概率做尺，来预测生活中的概率，而是用生活中观测到的概率做依据，来倒推理论上的概率。就好像抛硬币的时候，我们抛了10次，9次正面1次反面，这种情况很大可能是偶然，我们也不能期待下一次有更大概率为反面；当抛了10000次，仍然有9000次正面1000次反面，我们就应当开始怀疑，是不是这枚硬币被做了手脚，即这枚硬币本身理论上的概率就和理想中的硬币概率不同

## 大数定律的数学表达

弱大数定律说明：

对一组**独立同分布**的随机变量$X_1, X_2, \cdots, X_n$，若它们的期望$\mu = E[X_i]$，那么样本平均值：
$$
\bar X_n = \frac{1}{n}\sum_{n = 1}^nX_i
$$
会以概率趋近于$\mu$，即：
$$
P(|\bar X_n - \mu| \geq \epsilon) \to 0 \ 当\ n \to \infty
$$
需要注意这个写法，其中$\epsilon$为任意大于0的实数，感谢魏尔斯特拉斯，当$|\bar X_n - \mu|$趋于无穷小时，即样本平均值无限接近于期望值，这个差值大于$\epsilon$这个无穷小量的可能性趋于0，则告诉我们，二者的差值小于无穷小量的可能性非常高，也即二者靠得非常之近。但是我们仍然得注意，这是一个概率，如何控制这个偏差的概率呢？

## 切比雪夫不等式

### 控制偏差的概率

切比雪夫不等式是一种能够把**方差控制**转化为**概率控制**的工具，而大数定律的目标，正是控制样本平均值偏离真实期望值的概率。对于样本均值的方差：
$$
\mathrm{Var}(\bar X_n) = \frac{\sigma^2}{n}
$$
由此可见，样本均值的方差会随着样本数增加而减小

这里的关键问题是：方差小了，偏离平均值的概率会变小吗？这是一个从**平均波动**到**偏差概率**的转化，而切比雪夫不等式告诉了我们这样一件事：
$$
\mathrm{P}(|X-\mu| \ge \epsilon) \le \frac{\mathrm{Var}(X)}{\epsilon^2}
$$
将其应用在样本均值中则有：
$$
\mathrm{P}(|\bar X_n-\mu| \ge \epsilon) \le \frac{\sigma^2}{n\epsilon^2}
$$
这就证明了当$n \to \infty$，右边趋于0，所以样本均值几乎总是在靠近$\mu$的区域，这就是弱大数定律

我们也可以对其进行一些变换，假如我们想要将分布控制在$k$个标准差内，则可以令：
$$
\epsilon = k\sigma
$$
这样我们就有
$$
\mathrm{P}(|X-\mu| \ge k\sigma) \le \frac{1}{k^2}
$$
令$k = 3$，则有：
$$
\mathrm{P}(|X - \mu| \ge 3\sigma) \le \frac{1}{9}
$$
这代表至少有89%的值都在$\mu \pm 3\sigma$的区间内

### 马尔可夫不等式

这里的马尔可夫与马尔可夫链是同一个人，但是马尔可夫不等式和马尔可夫链基本上没有什么关联，它讲的是一个非负随机变量$X$有$\mathrm{E} < \infty$，那么对于任意常数$a > 0$，都有：
$$
\mathrm{P}(X \ge a) \le \frac{\mathrm{E}[X]}{a}
$$
对于期望，我们可以表达成积分的形式：
$$
\mathrm{E}(X) = \int_0^\infty x\mathrm{d}f(x) = \int_0^a x\mathrm{d}f(x) + \int_a^\infty x\mathrm{d}f(x)
$$
由于在$[a, \infty)$上有$x \ge a$，因此：
$$
\int_a^\infty x\mathrm{d}f(x) \ge \int_a^\infty a\mathrm{d}f(x) = a\mathrm{P}(X \ge a)
$$
所以可以得到：
$$
\mathrm{E}(X) \ge a·\mathrm{P}(X \ge a)
$$
即
$$
\mathrm{P}(X \ge a) \le \frac{\mathrm{E}(X)}{a}
$$
将$\mathrm{E}((X - \mu)^2)$带入马尔可夫不等式则有：
$$
\mathrm{P}((X-\mu)^2 \ge a) \le \frac{\sigma^2}{a}
$$
开平方，将$a$换成$\epsilon^2$即可得到切比雪夫不等式



大数定律并不要求为独立事件
