极大似然估计（MLE）

【【机器学习】重新理解线性回归 - 1 - 极大似然估计】 https://www.bilibili.com/video/BV1QM4y167oZ/?share_source=copy_web&vd_source=51cc2cdad73ec82b95881f9d39cacb48

基本思想

极大似然估计（Maximum Likelihood Estimation, MLE）是一种用于估计统计模型参数的方法。比如求解线性回归模型`y=wx+b的最优参数，w和b。它的基本思想是找到一组参数，使得在这些参数下，观测数据出现的概率最大。

以线性回归模型为例，在经典的线性回归模型中，假设误差项（残差）服从高斯分布。

高斯分布的概率密度函数如下： $$ f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right) $$ 这个概率密度函数看着虽然复杂，但核心就俩参数$\mu$和$\sigma$

数据集中某特征的数据，服从高斯分布（经典线性回归模型的假设），从该特征中采样，采样而来的每一个数据互不影响，而且是从同一个分布中获得的。因此这样的采样结果可以称为独立同分布。独立同分布是大部分算法模型的重要假设。

问题来了，如何从这些独立同分布的采样数据逆推出高斯分布的参数，$\mu$和$\sigma$？

高斯分布的定义域是负无穷到正无穷，因此从理论上来说，无论$\mu$和$\sigma$等于多少，都有可能采样出上面的数据，区别只是概率大小，因此我们想知道的是，$\mu$和$\sigma$等于多少时，能让采样数据出现的概率最大，此时的$\mu$和$\sigma$就是我们要求的高斯分布的参数。

下图的每一个样本点被采样的概率都可以写成一个条件概率的形式，又因为这些数据点满足独立同分布，因此他们的联合概率就是各个条件概率的连乘。然后求使得这个联合概率最大的$\mu$和$\sigma$就是我们要求的高斯分布的参数。这就是极大似然估计的基本思想。

极大似然估计是如何求解模型参数的

由于概率是[0,1]的数值，大量连乘后，会导致似然值无限趋近于0，使得求参数变难，因此通过$ln$将连乘转换为连加。

现在回头重看线性回归：

之前是将数据看成一组组x和y的对应，现在将x和y分开看待。将目标值Y看作是从一个高斯分布中采样而来的数据，在给定X的情况下，y是不确定的，现在的y不过是其中一种可能的采样结果。如下图所示

根据线性回归$y=wx+b$的方程，又因为b可以看作是$w0$，因此$y=wx$，又因为y服从均值为0，方差为$\sigma^2$的高斯分布，相当于给$y$增加了一个均值为0的噪声项，即$y_i = wx_i + \epsilon_i$，其中$\epsilon \sim \mathcal{N}(0, \sigma^2)$

因此$y_i \sim \mathcal{N}(w x_i, \epsilon_i)$