正态分布 若随机变数formula_10服从一个平均数为formula_2、标准差为formula_12的常态分布，则记为： formula_13 则其机率密度函数为 formula_14 常态分布的数学期望值或期望值formula_2,可解释为位置参数，决定了分布的位置；其方差formula_5的平方根或标准差formula_12可解释尺度参数，决定了分布的幅度。 中心极限定理指出，在特定条件下，一个具有有限均值和方差的随机变量的多个样本(观察值)的平均值本身就是一个随机变量，其分布随着样本数量的增加而收敛于正态分布。因此，许多与独立过程总和有关的物理量，例如测量误差，通常可被近似为正态分布。 常态分布的机率密度函数曲线呈钟形，因此人们又经常称之为钟形曲线（类似于寺庙里的大钟，因此得名）。我们通常所说的标准常态分布是位置参数formula_18，尺度参数formula_19的常态分布（见右图中红色曲线）。 概要. 正态分布是自然科学与行为科学中的定量现象的一个方便模型。各种各样的心理学测试分数和物理现象比如光子计数都被发现近似地服从常态分布。尽管这些现象的根本原因经常是未知的，理论上可以证明如果把许多小作用加起来看做一个变量，那么这个变量服从常态分布（在R.N.Bracewell的Fourier transform and its application中可以找到一种简单的证明）。常态分布出现在许多区域统计：例如，采样分布均值是近似地常态的，即使被采样的样本的原始群体分布并不服从常态分布。另外，常态分布信息熵在所有的已知均值及方差的分布中最大，这使得它作为一种均值以及方差已知的分布的自然选择。常态分布是在统计以及许多统计测试中最广泛应用的一类分布。在概率论，常态分布是几种连续以及离散分布的极限分布。 历史. 常态分布最早是棣莫弗在1718年著作的书籍的（-- ），及1734年发表的一篇关于二项分布文章中提出的，当二项随机变数的位置参数n很大及形状参数p为1/2时，则所推导出二项分布的近似分布函数就是常态分布。拉普拉斯在1812年发表的《分析概率论》（-- ）中对棣莫佛的结论作了扩展到二项分布的位置参数为n及形状参数为1>p>0时。现在这一结论通常被称为棣莫佛－拉普拉斯定理。 拉普拉斯在误差分析试验中使用了常态分布。勒让德于1805年引入最小二乘法这一重要方法；而高斯则宣称他早在1794年就使用了该方法，并通过假设误差服从常态分布给出了严格的证明。 将正态分布称作「钟形曲线」的习惯可以追溯到Jouffret他在1872年首次提出这个术语（Bell curve）用来指代二元常态分布。正态分布这个名字还被查尔斯·皮尔士、法兰西斯·高尔顿、威尔赫姆·莱克希斯在1875分别独立地使用。这个术语是不幸的，因为它反映和鼓励了一种谬误，即很多概率分布都是常态的。（请参考下面的「实例」） 这个分布被称为「常态」或者「高斯」正好是史蒂格勒名字由来法则的一个例子，这个法则说「没有科学发现是以它最初的发现者命名的」。 正态分布的定义. 有几种不同的方法用来说明一个随机变量。最直观的方法是概率密度函数，这种方法能够表示随机变量每个取值有多大的可能性。累积分布函数是一种概率上更加清楚的方法，请看下边的例子。还有一些其他的等价方法，例如cumulant、特征函数、动差生成函数以及cumulant-生成函数。这些方法中有一些对于理论工作非常有用，但是不够直观。请参考关于概率分布的讨论。 机率密度函数. 常态分布的概率密度函数均值为formula_2 方差为formula_5 (或标准差formula_12)是高斯函数的一个实例： formula_23。 如果一个随机变量formula_10服从这个分布，我们写作 formula_10 ~ formula_9. 如果formula_18并且formula_29，这个分布被称为标准正态分布，这个分布能够简化为 formula_30。 右边是给出了不同参数的正态分布的函数图。 正态分布中一些值得注意的量： 累积分布函数. 累积分布函数是指随机变数formula_10小于或等于formula_35的机率，用机率密度函数表示为 formula_36 常态分布的累积分布函数能够由一个叫做误差函数的特殊函数表示： formula_37 标准常态分布的累积分布函数习惯上记为formula_38，它仅仅是指formula_39，formula_40时的值， formula_41 将一般常态分布用误差函数表示的公式简化，可得： formula_42 它的反函数被称为反误差函数，为： formula_43 该分位数函数有时也被称为probit函数。probit函数已被证明没有初等原函数。 常态分布的分布函数formula_44没有解析表达式，它的值可以通过数值积分、泰勒级数或者渐进序列近似得到。 生成函数. 动差母函数. 动差生成函数，或称动差母函数被定义为formula_45的期望值。 常态分布的动差产生函数如下： 可以通过在指数函数内配平方得到。 特征函数. 特征函数被定义为formula_46的期望值，其中formula_47是虚数单位. 对于一个常态分布来讲，特征函数是： 把矩生成函数中的formula_48换成formula_49就能得到特征函数。 性质. 常态分布的一些性质： 标准化常态随机变量. === 动差（-- 一些常态分布的一阶动差如下： 标准常态的所有二阶以上的累积量为零。 中央极限定理. 常态分布有一个非常重要的性质：在特定条件下，大量统计独立的随机变量的平均值的分布趋于正态分布，这就是中央极限定理。中央极限定理的重要意义在于，根据这一定理的结论，其他概率分布可以用正态分布作为近似。 近似正态分布平均数为formula_75且方差为formula_76. 近似正态分布平均数为formula_79且方差为formula_80. 这些近似值是否完全充分正确取决于使用者的使用需求 无限可分性. 正态分布是无限可分的概率分布。 稳定性. 正态分布是严格稳定的概率分布。 标准偏差. 在实际应用上，常考虑一组数据具有近似于常态分布的机率分布。若其假设正确，则约68.3%数值分布在距离平均值有1个标准差之内的范围，约95.4%数值分布在距离平均值有2个标准差之内的范围，以及约99.7%数值分布在距离平均值有3个标准差之内的范围。称为「68-95-99.7法则」或「经验法则」。 估计. 母数的最大概似估计. 概念一般化. 多元正态分布的协方差矩阵的估计的推导是比较难于理解的。它需要了解谱原理（spectral theorem）以及为什么把一个标量看做一个1×1矩阵的迹（trace）而不仅仅是一个标量更合理的原因。请参考协方差矩阵的估计（estimation of covariance matrices）。 常见实例. 计量误差. 饮料装填量不足与超量的机率. 某饮料公司装瓶流程严谨，每罐饮料装填量符合平均600毫升，标准差3毫升的常态分配法则。随机选取一罐，求（1）容量超过605毫升的机率；（2）容量小于590毫升的机率。 容量超过605毫升的机率 = p ( X > 605)= p ( ((X-μ) /σ) > ( (605 – 600) / 3) )= p ( Z > 5/3) = p( Z > 1.67) = 1 - 0.9525 = 0.0475 容量小于590毫升的机率 = p (X 3) = 0.0013)。也就是说，这种品质管制标准的产品不良率只有万分之二十六。假设例中的饮料公司装瓶流程采用这个标准，而每罐饮料装填量符合平均600毫升，标准差3毫升的常态分配。那么预期装填容量的范围应该多少？ 6-标准差的范围 = p ( -3 < Z < 3)= p ( - 3 < (X-μ) /σ < 3) = p ( -3 < (X- 600) / 3 < 3)= p ( -9 < X – 600 < 9) = p (591 < X < 609) 因此，预期装填容量应该介于591至609毫升之间。 测试和智力分布. 计算学生智商高低的机率. 假设某校入学新生的智力测验平均分数与标准差分别为100与12。那么随机抽取50个学生，他们智力测验平均分数大于105的机率？小于90的机率？ 本例没有常态分配的假设，还好中央极限定理提供一个可行解，那就是当随机样本长度超过30，样本平均数formula_99近似于一个常态变数， 因此标准常态变数formula_100。 平均分数大于105的机率 formula_101 平均分数小于90的机率 formula_102 计算统计应用. 生成正态分布随机变量. 在计算机模拟中，经常需要生成正态分布的数值。最基本的一个方法是使用标准的正态累积分布函数的反函数。除此之外还有其他更加高效的方法，Box-Muller变换就是其中之一。另一个更加快捷的方法是ziggurat算法。下面将介绍这两种方法。一个简单可行的并且容易编程的方法是：求12个在（0,1）上均匀分布的和，然后减6(12的一半)。这种方法可以用在很多应用中。这12个数的和是Irwin-Hall分布；选择一个方差12。这个随即推导的结果限制在（-6,6）之间，并且密度为12，是用11次多项式估计正态分布。 Box-Muller方法是以两组独立的随机数U和V，这两组数在(0,1]上均匀分布，用U和V生成两组独立的标准常态分布随机变量X和Y: formula_103 formula_104。 这个方程的提出是因为二自由度的卡方分布（见性质4）很容易由指数随机变量（方程中的lnU）生成。因而通过随机变量V可以选择一个均匀环绕圆圈的角度，用指数分布选择半径然后变换成（正态分布的）x,y坐标。