aic

极大似然估计与EM算法： 详解EM算法与混合高斯模型(Gaussian mixture model, GMM)_林立民爱洗澡-CSDN博客 https://blog.csdn.net/lin_limin/article/details/81048411 GMM（高斯混合模型）以及简单实现_zjm750617105的专栏-CSDN博客 https://blog.csdn.net/zjm750617105/article/details/5243029 成分数的选择 在一个GMM里，BIC(Bayesian Information Criteria)准则是一种有效的成分数确定方法。注意，如果使用一个 Variational Bayesian Gaussian mixture , 可以避免指定GMM的成分数。 AIC准则 AIC准则是由日本统计学家Akaike与1973年提出的，全称是最小化信息量准则（Akaike Information Criterion）。它是拟合精度和参数个数的加权函数： AIC=2（模型参数的个数）-2ln（模型的极大似然函数） BIC准则 AIC为模型选择提供了有效的规则，但也有不足之处。当样本容量很大时，在AIC准则中拟合误差提供的信息就要受到样本容量的放大，而参数个数的惩罚因子却和样本容量没关系（一直是2），因此当样本容量很大时

　　Akaike information criterion，AIC是什么？一个用来筛选模型的指标。AIC越小模型越好，通常选择AIC最小的模型。第一句话好记，第二句话就呵呵了，小编有时候就会迷惑AIC越大越好还是越小越好。所以，还是要知其所以然的。 　　在AIC之前，我们需要知道Kullback–Leibler information或 Kullback–Leiblerdistance。对于一批数据，假设存在一个真实的模型f，还有一组可供选择的模型g1、g2、g3…gi，而K-L 距离就是用模型 gi 去估计真实模型 f 过程中损失的信息。可见K-L 距离越小，用模型 gi 估计真实模型 f 损失的信息越少，相应的模型 gi 越好。 　　然后，问题来了。怎么计算每个模型 gi 和真实模型 f 的距离呢？因为我们不知道真实模型 f，所以没办法直接计算每个模型的K-L距离，但可以通过信息损失函数去估计K-L距离。日本统计学家Akaike发现log似然函数和K-L距离有一定关系，并在1974年提出Akaike information criterion，AIC。通常情况下，AIC定义为：AIC=2k-2ln(L)，其中k是模型参数个数，L是似然函数。 　　-2ln(L)反映模型的拟合情况，当两个模型之间存在较大差异时，差异主要体现在似然函数项-2ln(L)，当似然函数差异不显著时

在建立ARMA和GARCH模型的时候，我们常常需要涉及到模型阶数（如GARCH（p,q）中p和q）的选择问题，在这里我们使用AIC和BIC两个计算参数进行判断： 什么是AIC和BIC？ 两者定义来源于信息准则：研究者通过加入模型复杂度的惩罚项来避免过拟合问题，随后推出了两个优选模型的准则：赤池信息准则（Akaike Information Criterion，AIC）和贝叶斯信息准则（Bayesian Information Criterion，BIC）。 AIC（赤池弘次,1974）的定义为： AIC = 2*N - Ln(L) * 这里N表示 模型参数个数 的个数，L表示模型得出的 似然函数 最优值 所以根据AIC的定义可知，当模型越复杂或者似然函数越小，AIC值越大。而我们的目标一般是选择AIC较小的模型（即希望模型简单，并且模型的拟合度高，其中对参数N的要求表示了我们不希望模型出现过拟合的情况）。 BIC（Schwarz,1978）的定义为： BIC = N*Ln(n) - Ln(L) * 这里N表示 模型参数个数 的个数，L表示模型得出的 似然函数 最优值， n是模型中的 观测值数量 。 从AIC模型中我们可以看到没有考虑观测值数量，从统计学知识中我们可以知道随着观测值数量的增加，误差也可能随之上升，所以BIC中引入了观测值数量对模型进行判断。同AIC，BIC也是越小越好