有效性

🏠 数理统计概念导航

核心问题

无偏估计常常有无穷多个,谁最好?

第二把尺子:波动小的赢。 同样是”平均对”,方差小的那个更可能落在真值附近。 这就是有效性,也是”合并样本方差""加权平均”这些公式的唯一来源。

核心定义 / 定理 / 结论

一、定义

都无偏,且比有效 比较有效性的前提是两者都无偏

若给的估计量有偏,必须先修正成无偏再比;否则可以用一个常数(方差为 )赢过一切。

二、最优加权公式(本篇核心)

设 相互独立、都无偏、方差为 ,取 :

无偏 权重与方差成反比:谁更准,谁的话语权更大

两个必须秒答的特例:

全相等即样本均值

方向记忆:极端情形 (第二个估计量毫无信息)时 ——彻底忽略它。

三、两条不用拉格朗日的证法

(a)柯西—施瓦茨(方差相同的情形):

,等号当且仅当

(b)配方(两项,):

两项就配方,项就柯西,都比拉格朗日快

四、:加权题的引擎

正态总体下:

自由度合并样本方差时权重自由度

于是合并样本方差的定义式就有了来历:

不是随便加权,而是方差最小的那个加权

五、量级判据: 还是

平均型的线性函数边界型的线性函数 支撑边界含参数时,极值统计量碾压样本均值快一个数量级

的经典对决:

比值

时两者相等——这就是题目常写""的原因。

六、直觉解释:为什么”扔掉信息”反而更有效

若某些观测的区分对估计 毫无帮助(例如两个取值的概率都正比于 ), 硬去区分它们只会引入额外波动。最大似然会自动把这类类别合并,方差因此更小。

有效性衡量的是信息压缩得恰不恰当

典型题型

  1. 反解权重使方差最小 —— 无偏定约束,配方或柯西求极值。
  2. 比较两个无偏估计 —— 分别算方差,作比看 的量级。
  3. 选择题”方差最小的是” —— 直接套最优加权公式,认出哪个选项就是最优解。
  4. 先修正无偏再比 —— 边界型题的标准第二步。

图示 / 直觉

两条以为中心的钟形曲线,胖的那条是低效的估计 无偏管重心,有效管胖瘦

最优加权的直觉:开会时,让测量更精确的仪器说话更响。 权重 就是”精度”(方差的倒数在统计里正叫 precision)的归一化。

常见误用

  1. 对有偏估计比有效性 —— 必须先修正。
  2. 权重方向搞反 —— 方差大的权重小,不是大。
  3. 忘了无偏约束 —— 不加约束的话 方差最小但毫无意义。
  4. 的分母写成 —— 是 。
  5. 忽略”独立”这个前提 —— 不独立时 要补协方差项。
  6. 两样本容量不等却对半加权 —— 权重要按自由度分配。

与旧知识的连接

题型训练

链接