极大似然估计的原理，先用一张图片来说明
总结起来，极大似然估计的目的：就是利用已知的样本结果，反推最有可能(最大概率）导致这样结果的参数值。
通过若干次试验，观察其结果，利用试验结果的某个参数值能够使样本出现的概率最大，称为极大似然估计。
由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ，记已知样本集为:
似然函数(linkehood function):联合概率密度函数p(D|θ）称为相对于样本集D={x1，x2,x3,...,xn} 的θ的似然函数
若
使参数空间中，能使似然函数
最大的θ值，那
应该使最可能值，
就是θ的极大似然估计量，它是样本集函数
记作：
求解极大似然函数
ML估计：求使得改组样本的概率最大的θ值
连乘不便于分析，故定义了对数似然函数：
1.未知参数只有一个时(θ为标量),似然函数满足连续可微，极大似然估计量是下面微分方程的解
2.未知参数有多个(θ为向量)
记梯度算子:
似然函数满足连续可导，最大似然估计量就是如下方程的解。
总结
求解极大似然估计量步骤：
1.写出似然函数
2.对似然函数取对数，整理
3.求导数
4.解似然方程
最大似然估计特点：
1.比其他估计方法简单
2.收敛性，样本数量增加时，收敛性质更好
3.如果假设的类条件概率模型正确，通常能获得比较好的结果，但如果模型假设有偏差，导致非常差的结果。