<commit_before>---
layout: post
title: "最大后验与最大似然的关系"
date: 2017-03-17 09:29:51
categories: ProbabilityTheory
---
# 贝叶斯公式
基本的贝叶斯公式：

$$
P(Y|X) = \frac{P(Y)P(X|Y)}{P(X)}
$$

更一般的贝叶斯公式：

$$
P(Y_i|X) = \frac{P(Y_i)P(X|Y_i)}{\sum_{j=1}^{N}P(Y_i)P(X|Y_i)}
$$

在贝叶斯统计中，最大后验估计可以被用来对未知参数做基于观察数据的点估计。其与最大似然估计非常相似，但是使用了一个结合了先验分布的增强优化目标，从而最大后验概率估计可以被视作正则化的最大似然估计。

## 描述
令$\theta$为待估的参数，观察数据为x，又令$f$为x的采样分布，从而$f(x|\theta)$是x基于$\theta$的条件概率，有：

$$
\hat{\theta}_{ML} = \argmax_{\theta}f(x|\theta)
$$

为$\theta$的最大似然估计。现在假设对于$\theta$存在一个先验分布$g$，这样一来可以将$\theta$视为一个随机变量在贝叶斯统计中。那么我们就可以利用贝叶斯定理来计算$\theta$的后验分布：

$$
f(\theta|x)=\frac{f(x|\theta)g(\theta)}{\int_{\vartheta \in \Theta}f(x|\vartheta)g(\vartheta)d\vartheta}
$$

从而最大后验概率：

$$
\hat{\theta}_{MAP}(x) = \argmax_{\theta}\frac{f(x|\theta)g(\theta)}{\int_{\vartheta}f(x|\vartheta)g(\vartheta)d\vartheta}
$$

观察可以发现当$g$为均匀分布的时候，ML与MAP等价。当$\theta$是离散的时候，MAP估计是一个贝叶斯估计器。<commit_msg>add changes<commit_after>---
layout: post
title: "最大后验与最大似然的关系"
date: 2017-03-17 09:29:51
categories: ProbabilityTheory
---
# 贝叶斯公式
基本的贝叶斯公式：

$$
P(Y|X) = \frac{P(Y)P(X|Y)}{P(X)}
$$

更一般的贝叶斯公式：

$$
P(Y_i|X) = \frac{P(Y_i)P(X|Y_i)}{\sum_{j=1}^{N}P(Y_i)P(X|Y_i)}
$$

在贝叶斯统计中，最大后验估计可以被用来对未知参数做基于观察数据的点估计。其与最大似然估计非常相似，但是使用了一个结合了先验分布的增强优化目标，从而最大后验概率估计可以被视作正则化的最大似然估计。

## 描述
令$\theta$为待估的参数，观察数据为x，又令$f$为x的采样分布，从而$f(x|\theta)$是x基于$\theta$的条件概率，有：

$$
\hat{\theta}_{ML} = \mathop{\arg\max}_{\theta}f(x|\theta)
$$

为$\theta$的最大似然估计。现在假设对于$\theta$存在一个先验分布$g$，这样一来可以将$\theta$视为一个随机变量在贝叶斯统计中。那么我们就可以利用贝叶斯定理来计算$\theta$的后验分布：

$$
f(\theta|x)=\frac{f(x|\theta)g(\theta)}{\int_{\vartheta \in \Theta}f(x|\vartheta)g(\vartheta)d\vartheta}
$$

从而最大后验概率：

$$
\hat{\theta}_{MAP}(x) = \mathop{\arg\max}_{\theta}\frac{f(x|\theta)g(\theta)}{\int_{\vartheta}f(x|\vartheta)g(\vartheta)d\vartheta} = \mathop{\arg\max}_{\theta}f(x|\theta)g(\theta)
$$

观察可以发现当$g$为均匀分布的时候，ML与MAP等价。当$\theta$是离散的时候，MAP估计是一个贝叶斯估计器。
{'fraction_non_alphanumeric': 0.24487651077246453, 'fraction_numerical': 0.015764582238570676, 'mean_word_length': 7.576576576576577, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '521882', 'n_tokens_mistral': 1310, 'n_tokens_neox': 1409, 'n_words': 61}