---
title: 大数定律和中心极限定理
date: '2006-03-17T20:52:00+08:00'
slug: 20-52-00
---

这是SEM伟大工程第二步中的序曲（注意只是序曲）——大数定律和中心极限定理，目的是研究统计计算算法，尤其是Monte Carlo方法，因为据我所知，这玩意儿是基于大数定律的。学习至今，发现自己的基础是千疮百孔，惨不忍睹，遂把这些漏洞趁现在尽力补上。还有另外一个原因是看着别人动不动就叫唤：“俺的结论是有大数定律支持的！”然后就把听众吓坏了，因为有好些人自己也搞不清楚这所谓的**Law of Large Numbers**是个啥东东，于是，大家一起忽悠吧！


不是我贬损谁，确实有这样的例子。像王星老师上课讲有些学生，“我都这么大样本量了还不服从正态分布啊？”言下之意就是说只要搞到的数字足够多，那么就可以请出正态分布老祖宗了。这不扯的么？……我坦言，我自己对于大数定律和中心极限定理其实也是有些晕晕乎乎，还是有些怕所谓的测度论这些东西的，不过无论如何，我还是努力把这俩玩意儿清理明白吧。


首先看看究竟啥叫大数定律和中心极限定理。（下面的东西叫“定义”，不叫“证明”，当年某人为此还和我争了半天，真是想不明白这有什么好争的）


**定义1** 若ξ<SUB>1</SUB>, ξ<SUB>2</SUB>, ..., ξ<SUB>n</SUB>, ...是随机变量序列，令


![](https://db.yihui.org/hexun/b_CF09C7EA76B7BAC4.jpg)

若存在常数序列a<SUB>1</SUB>, a<SUB>2</SUB>, ..., a<SUB>n</SUB>, ...对任何的正数ε，恒有

![](https://db.yihui.org/hexun/b_32838923D31F0F19.jpg)

则称序列{ξ<SUB>n</SUB>}服从**大数定律**（或**大数法则**）


**定义2** 对于独立随机变量序列ξ<SUB>1</SUB>, ξ<SUB>2</SUB>, ..., ξ<SUB>n</SUB>, ...假定Eξ<SUB>n</SUB>和Dξ<SUB>n</SUB>都存在，令

![](https://db.yihui.org/hexun/b_A0C2FBEC36FB27BC.jpg)

若

![](https://db.yihui.org/hexun/b_704CA0F10A4E1CAF.jpg)

则称序列{ξ<SUB>n</SUB>}服从**中心极限定理**（**Central Limit Theorem**）。

**（1）切比雪夫（Chebyishev）不等式** 它是切比雪夫大数定律的基础：

设随机变量X有数学期望E(X)与方差D(X)，则对任意的正数ε，有

![](https://db.yihui.org/hexun/b_1DCFEC84780F60F6.jpg)

**（2）大数定律**


**切比雪夫定理的特殊情况** 设随机变量X<SUB>1</SUB>, X<SUB>2</SUB>, ..., X<SUB>n</SUB>相互独立，且具有相同的数学期望和方差：


![](https://db.yihui.org/hexun/b_2AEA9A5D20619741.jpg)

则对任意的正数ε，有


![](https://db.yihui.org/hexun/b_8E23163965A45570.jpg)

**·贝努利定理** 设n<SUB>A</SUB>是n次独立重复试验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对任意的正数ε，有


![](https://db.yihui.org/hexun/b_C5D95ED93B154DA6.jpg)

**·辛钦定理** 设X<SUB>1</SUB>, X<SUB>2</SUB>, ..., X<SUB>n</SUB>相互独立，服从同一分布，具有数学期望E(X<SUB>k</SUB>)=μ，则对任意正数，有


![](https://db.yihui.org/hexun/b_AAEB74EC18FFC9D2.jpg)

**（3）中心极限定律**


**·同分布的中心极限定理** 设X<SUB>1</SUB>, X<SUB>2</SUB>, ..., X<SUB>n</SUB>相互独立，服从同一分布，具有数学期望和方差：


![](https://db.yihui.org/hexun/b_4FE2288307FFF259.jpg)

则对任意的x，恒有


![](https://db.yihui.org/hexun/b_94BC3E85BB876C97.jpg)

**德莫佛－拉普拉斯定理** 设随机变量η<SUB>n</SUB>(n=1, 2, ...)服从参数为n, p (0<p<1)的二项分布，

![](https://db.yihui.org/hexun/b_EC9D60AA1B877025.jpg)
