麻雀SSA优化深度极限学习机用于回归

点点圈 提交于 2020-10-06 09:07:16

原理1:       

        深度极限学习机也叫多层极限学习机ML-ELM,其首先采用多个极限学习机-自动编码器(ELM-AE)进行无监督预训练,然后利用各ELM-AE的输出权重用于初始化整个DELM。相比于其他深度方法,DELM具有训练速度快的优点,但是ELM-AE在预训练的过程中,输入层权重与偏置是随机产生的正交随机矩阵;同时,ELM-AE无监督预训练过程中采用最小二乘法更新参数,但只有输出层权重参数会更新,而输入层权重与偏置是不进行更新的,这就导致了最终DELM的效果受各ELM-AE的随机输入权重与随机偏置的影响,为此,可以采用某种方法进行这些参数进行寻优,依次提高DELM的网络精度。

                                                                                      图1 ELM-AE网络结构


原理2:       

       麻雀搜索算法(Sparrow Search Algorithm, SSA)是一种新型的群智能优化算法,在2020年提出,主要是受麻雀的觅食行为和反捕食行为的启发。因为这个算法是2020年出来的,相关论文很少,想水论文的有很大机会。因此,本文采用SSA对DELM预训练的各ELM-AE输入权重与偏置进行寻优。


应用:将上述方法用于时间序列预测,数据为风速时间序列。利用前1到num的各种值为输入 第num+1的风速作为输出,数据截图如下:
                                                       

                                                                                      图2 风速数据截图

第1:DELM效果,结果如下图3,左下角为各指标。

                                                                                             图3 DELM结果

第2:SSA优化DELM效果,如下图4

                                                                            图4 SSA-DELM结果

结论:

从结果上看,DELM在这个数据集上表现比较好,但SSA-DELM还是略胜一筹。更多见我github:https://github.com/fish-kong/SSA-DELM-regression

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!