1、最大熵模型
2、最优化算法
最大熵模型归结为，使用似然函数为目标函数的最优化问题。
最优化问题，往往使用，迭代尺度法，梯度下降法，牛顿法，拟牛顿法等。
3.1改进的迭代尺度算法IIS
思路：求似然对数函数的值，然后以ω=ω+δ来更新参数变量ω，重复求似然对数函数，直到找到最大值为止。
技巧：直接求L（ω+δ）-L（ω），使用不等式来减少变量，获得极值。例如δ变量就有δi,i=1,2,…,n.我们就使用不等式减小变量，把其中一个变量固定。
算法：
1）通过等式，来求δi；
2）ωi=ωi+δi,更新ωi；
来源：CSDN
作者：rosefunR
链接：https://blog.csdn.net/rosefun96/article/details/103858278