最大似然的标准流程

🏠 数理统计概念导航 · 数理统计题库

方法模板

一、五步流水线(连续型、似然可导的情形)

①写似然:离散型换成②取对数:③把与无关的项并成常数,别浪费时间抄④求导令零:(似然方程)⑤解出,把换成得估计量 估计值用小写,估计量用大写

二、第③步是唯一的效率关键

只保留含 的项。三种最常见的形式与它们的导数:

中的项对 求导
()
()

指数族的似然方程几乎总是 ,解出 。

三、” 当一个整体”这一招

估计正态的 时,把 记成 再求导,能避免链式法则的符号错误:

正态总体的:(分母是!)

的分母是 ,不是 。 这是最大似然与样本方差 的唯一差别,也是”MLE 不必无偏”的头号例子:

四、 已知与未知,结果不同

已知: 未知: 每估计一个参数,丢一个自由度

这条决定了 是 还是 ,是本节压轴小题的分水岭。

必考

880 第二十二章 基础解答 3

原题 设总体 的概率密度为 其他 其中 为未知参数, 为 的简单随机样本值。求: (Ⅰ) 的矩估计值;(Ⅱ) 的最大似然估计值。

解析 换元 ,把 藏起来,最后再平方回去。此时 。

(Ⅰ)矩估计

令 ,反解 :

( 保证 ✓。)

(Ⅱ)最大似然

符号检查: ✓。

换元是这道题的全部技巧

直接对 求导要处理 ,虽然也能做,但两次乘除很容易错。 凡是参数以 、、 的形式整体出现,先换元求那个整体的 MLE,再由不变性(不变性那一节)换回去。

1000 基础篇 第6章 13

原题 设连续型总体 的分布函数为 其中 为未知参数,且 , 为来自总体 的简单随机样本。 求 的矩估计量与最大似然估计量。

解析 求导得密度:

与第二十二章基础解答是同一个分布

于是答案照搬(改成估计量的大写形式):

一本给密度、一本给分布函数

这是本章第三处”同题异装”。给分布函数时第一步永远是求导变密度,之后完全一样。 反过来,若题目问的是 之类的概率,用分布函数比用密度快——看题目要什么再决定用哪个。

880 第二十二章 基础解答 15

原题 设总体 , 为未知参数, 为总体 的简单随机样本值,求 的最大似然估计量。

解析 教科书式的两参数 MLE,必须能一字不差地写出来。

记 :对 求偏导:

对 求偏导:

把 代入:

分母是 ,这是 MLE 有偏的最著名例子

——系统性偏小。 修正因子 把它变回 ,这才是无偏的那个。

两个必须分清的对象:

(有偏)(无偏)

题目问”最大似然估计量”就写前者,问” 的无偏估计”就写后者。一个字都不能换。

880 第二十二章 基础解答 7

原题 设 为总体 的简单随机样本, 为未知参数。 (Ⅰ)求 的最大似然估计量 ; (Ⅱ)若记 ,,利用最大似然估计量 ,求相关系数 。

解析

(Ⅰ) 已知,所以不需要用 替换:

这个 是无偏的: ✓(因为 已知,没丢自由度)。

(Ⅱ) 用 , 用 ,重叠部分是 两项。

不同下标的协方差为 (独立),只有 两项存活:

"利用 " 这句话的意思

是无量纲的, 在分子分母中必然约掉——所以 与 的真值无关。 把 换成 代进去,得到的 还是 。 这正是 最大似然不变性 的一个平凡但干净的实例:

;当是常数函数时,估计量就是那个常数

一句话记住协方差的算法:重叠了几项,协方差就是几个 。

880 第二十二章 基础解答 8

原题 设总体 的概率密度为 为总体 的简单随机样本。 (Ⅰ)求 的最大似然估计量 ; (Ⅱ)记 ,求 的分布函数和 。

解析 这是对数正态分布( 的情形)。

(Ⅰ)

与无关

(Ⅱ) 对 :

换元 (,上限 ):

即 ——“对数正态”这个名字就是这个意思。于是

无偏

第(Ⅱ)问其实是第(Ⅰ)问的解释

密度里那个 因子正是变换 的雅可比 。 认出 之后,第(Ⅰ)问就是”正态总体估计 “,答案必然是 。 考场上先做(Ⅱ)反而更快。

1000 基础篇 第6章 8

原题 设总体 的概率密度为 其中 为大于零的未知参数,已知 是来自总体 的简单随机样本,则 的最大似然估计量为( )。 (A)  (B) (C)  (D)

解析

选 D。

零计算的排除法:

  • 与 在指数里成比例(),说明 的量纲是 → 估计量必须含 → A、C 出局;
  • 最大似然的分母永远是 ( 是无偏修正的产物,与似然方程无关)→ B 出局。

这条排除法适用于所有 MLE 选择题

的分母恒为;看到就排除

唯一的例外是题目明确问”无偏估计”或”修正后的估计”。

顺带:(验算:令 得 , ✓),所以这个 MLE 恰好无偏。

1000 强化篇 第9章 12

原题 设总体 未知, 为来自总体 的简单随机样本,记 与 分别是 的矩估计量和最大似然估计量,求 以及对应的均值。

解析 这是瑞利分布。关键预备:令 ,则对

一阶矩(配成 ,或直接分部积分):

(末步用了 ,即 的二阶矩为 。)

矩估计:令 :

有偏,但偏差 ,是渐近无偏的。

最大似然:

(无偏)

矩估计与最大似然的胜负

无偏, 有偏;而且 用了 (需要那个丑陋的 ), 只用 。 这道题里最大似然全面胜出——这也是一般规律:能求导时优先用最大似然,矩估计只在似然难处理时才占优。

本题与 1000 基础篇第 6 章第 8 题是同一族分布( 与 ,对应 ), 两题的 MLE 也一致: 与 ✓。

1000 强化篇 第9章 6

原题 设 是来自总体 的简单随机样本, 未知,记 的最大似然估计量为 ,则 ___。

解析 注意 是已知的,这是全题的关键。故 MLE 不用 :而 且相互独立,故

(不是!)

已知与未知,答案差一个因子

若 未知,,此时

两个答案分别是 与 ,后者略小。

判据只有一句:题目写的是 还是 。 写具体数字就是已知,自由度用 。 本题把 写成 而不是 ,就是为了让你不能靠”看到 才想起 已知”来蒙。

1000 基础篇 第6章 19(OCR 残缺,已重构)

题源说明

原 OCR 在”则 的”处截断(合并文件与拆分文件均如此),缺失的是”最大似然估计值为___”。 按题设(容量为 的样本、给出样本值 )重构如下。

原题(重构) 设 是来自正态总体 ()的一个简单随机样本, 为其样本值,则 的最大似然估计值为 ___。

解析 , 已知。直接套 880 第二十二章基础解答 7 的结果:

验证一下(从头推):,

的极端情形反而最能说明 MLE 在做什么

只有一个观测 ,最大似然说:“选那个使这个观测最可能出现的 ”。 的密度在 处最”合理”(一个标准差处),故 。

它当然是个糟糕的估计(,与 无关地大),但无偏: ✓。 无偏 好,这是 有效性 存在的理由。

链接