最大似然估计

🏠 数理统计概念导航

核心问题

哪个参数值，最”配得上”我手里这组数据？

矩估计问”平均值对不对得上”，最大似然问一个更彻底的问题： 在哪个 之下，这组数据出现的可能性最大？ 把这个可能性写成 的函数，求它的最大值点。

核心定义 / 定理 / 结论

一、似然函数

方程只是可导情形下的一个手段。 记住这句话，边界型题目就不会束手无策。

二、可导情形：五步流水线

取对数的理由：把乘积变成求和，导数才好算；而 严格递增，最大值点不变。

常见项的导数：

中的项	对 求导

三、离散型：把相同取值合并成幂次

两个现成结构：

其中 是 的总幂次、 是 的总幂次。不用真的求导。

四、边界情形：求导法失效

约束的翻译规则：

直觉：最大似然总是把参数顶到数据允许的极限。

五、 型：答案是中位数

（ 分段线性、折点在样本点上，导数只取离散值，永远解不出”导数为零”。）

六、MLE 不唯一

当 在一整段区间上取同一最大值时（如 ，）， 区间内每一点都是 MLE：

七、MLE 的三个性质

（①详见 最大似然的不变性。）

③的头号例子：正态总体的

八、正态总体的两个 MLE（必背）

已知时则为 （这个是无偏的，因为没丢自由度）。

典型题型

1. 可导型 —— 五步流水线。
2. 离散计数型 —— 数个数 → 套结构 A/B。
3. 边界型 —— 翻译约束 → 看单调性 → 取端点。
4. 两参数 —— 先定边界型的那个，代回再对另一个求导。
5. 估计 —— 先求 ，再套不变性。

图示 / 直觉

• 曲线光滑有峰 → 峰顶就是 ，用导数找（可导型）；
• 曲线单调 → 最大值在区间端点，用约束找（边界型）；
• 曲线有一段水平 → MLE 不唯一。

注意 不是概率（连续型时它是密度的乘积，可以大于 ）， 它只用来比较不同 的优劣，绝对值没有意义。

常见误用

1. 对 而不是 求导 —— 能做但极其麻烦，且容易漏项。
2. 边界型硬求导 —— 恒不为零，解不出来还浪费时间。
3. 的分母写成 —— MLE 的分母是 。
4. 忘记检查约束 —— 的表达式必须配上”所有 在支撑内”这个条件。
5. 的不等式取错方向 —— “对所有 都有 ” → 取最小的那个上界。
6. 以为 MLE 一定无偏 —— 不一定，且往往不是。
7. 以为无偏性也有不变性 —— 没有。 无偏但 不是 的无偏估计。
8. 样本值与估计量混写 —— 求”估计值”要代数字，求”估计量”要写 。

与旧知识的连接

• 独立性 —— 似然能写成乘积的唯一依据。
• 最大值与最小值的分布 —— 边界型 MLE 的分布与矩全靠它。
• 最大似然的不变性 —— 估计 的工具。
• 联合分布 —— 二维总体的似然是联合密度的乘积。
• 矩估计 —— 另一条路，两者常给出不同答案。

题型训练

• 最大似然的标准流程
• 边界型最大似然
• 离散总体的计数似然
• 先求分布再做估计

链接

• 上游：总体、样本与统计量 · 随机变量的独立性
• 平行：矩估计 · 最大似然的不变性
• 下游：无偏性 · 有效性 · 相合性
• 章节导航：数理统计