估计理论
估计理论是统计学和信号处理中的一个分支，主要是通过测量或经验数据来估计概率分布参数的数值。这些参数描述了实质情况或实际对象，它们能够回答估计函数提出的问题。
例如，估计投票人总体中，给特定候选人投票的人的比例。这个比例是一个不可观测的参数，因为投票人总体很大；估计值建立在投票者的一个小的随机采样上。
又如，雷达的目的是物体（飞机、船等）的定位。这种定位是通过分析收到的回声（回波）来实现的，定位提出的问题是“飞机在哪里？”为了回答这个问题，必须估计飞机到雷达之间的距离。如果雷达的绝对位置是已知的，那么飞机的绝对位置也是可以确定的。
在估计理论中，通常假定信息隐藏在包含杂讯的信号中。噪声增加了不确定性，如果没有不确定性，那么也就没有必要估计了。
使用估计理论的领域.
有非常多的领域使用参数估计理论。这些领域包括（当然不局限于以下列出的领域）:
测量参数包含噪声或者其他不确定性。通过统计概率，可以求得最优化的解，用来从数据中提取尽可能多的信息。
估计过程.
估计理论的全部目的都是获取一个估计函数，最好是一个可以实现的估计函数。估计函数输入测量数据，输出相应参数的估计。
我们通常希望估计函数能最优，一个最优的估计意味着所有的信息都被提取出来了；如果还有信息没有提取出来，那就意味着它不是最优的。
一般来说，求估计函数需要三步：
当实现一个估计器之后，实际的数据有可能证明推导出估计器的模型是不正确的，这样的话就需要重复上面的过程重新寻找估计器。不能实现的估计器需要抛弃，然后开始一个新的过程。总的来说，估计器根据实际测量的数据预测物理模型的参数。
基础.
对于给定模型，估计器需要若干统计 "成分"才能实现。第一，统计样本从长度为 N 的（Random Variable，RV）中采样获得，观测值构成向量：
formula_1
第二，有 M 个参数：
formula_2
它们的值需要被估计。第三，用于生成连续数据的概率密度函数（Probability density function，PDF）或离散数据的概率质量函数（Probability mass function，PMF）以参数值为条件（这些概率函数潜在存在），即条件概率为：
formula_3
参数自身可能也存在概率分布（如贝叶斯统计），此时就需要定义贝叶斯概率：
formula_4
模型形成后，目标是估计参数，估计的参数通常表示为 formula_5，其中 formula_6 表示估计值。
常用的估计器包括最小均方误差（Minimum mean squared error，MMSE）估计器，它利用了估计参数和参数实际值之间的误差：
formula_7
作为优化的基础。该误差项平方的期望对MMSE估计器来说是最小的。
估计函数（估计子）.
以下是一些相关的估计函数以及相关的主题
例子：高斯白噪声中的直流增益.
考虑由formula_8个独立采样点构成的离散信号formula_9，它由常数formula_10和零均值、方差为formula_11的加性高斯白噪声formula_12（即formula_13）构成。方差已知，未知参数为formula_10。
信号的模型为：
formula_15
参数formula_10的两个可能的估计器是：
通过计算两个估计器的期望可以发现，它们的均值均为formula_10：
formula_20
和
formula_21
两个估计器的均值没有差异，然而它们的方差不同：
formula_22
和
formula_23
当formula_24时，formula_25，所以似乎采样平均formula_26是一个更好的估计器。
最大似然估计.
使用最大似然估计继续上面的例子，噪声在采样点formula_12上的概率密度函数（pdf）为：
formula_28
此时formula_9的概率为（formula_9服从分布formula_31）：
formula_32
由于相互独立，formula_33的概率为：
formula_34
对上式取自然对数：
formula_35
于是最大似然估计器为：
formula_36
计算对数-最大似然函数的一阶导数：
formula_37
令其为0：
formula_38
得到最大似然估计器：
formula_39
它是一个简单的采样平均。从这个例子中可以发现，被独立同分布的加性高斯白噪声污染的、由未知常数构成的formula_8点信号的最大似然估计其就是采样平均。
Cramér-Rao下限.
为了找到采样平均估计器的Cramér-Rao下限（CRLB），需要找到Fisher information数
formula_41
从上面得到
formula_42
取二阶导数
formula_43
发现负的期望值是无关紧要的（--
），因为它现在是一个确定的常数
formula_44
最后，将Fisher information代入
formula_45
得到
formula_46
将这个值与前面确定的采样平均的变化比较显示对于所有的formula_8和formula_10来说采样平均都是"等于"Cramér-Rao下限。
采样平均除了是最大似然估计器之外还是最小变化无偏估计器（MVUE）。
这个直流增益 + WGN的例子是Kay的"统计信号处理基础"中一个例子的再现。
生成维基百科快照图片，大概需要3-30秒！
如果网站内容有侵犯您的版权
请联系：pinbor@iissy.com
请联系：pinbor@iissy.com
Copyright ©2014 iissy.com, All Rights Reserved.