Factorization Machine模型的各种变式
关注“ AI科技时讯 ” 设为星标，第一时间获取更多干货 FM模型最早由Steffen Rendle在2010年提出，解决了稀疏数据场景下的特征组合问题，在广告、推荐等领域被广泛使用。FM模型简单而且效果好，可以作为业务初期快速取得收益，为后续持续迭代提供一个较强的baseline。FM模型从首次提出到现在已经过去七八年时间，这期间的研究进展如何呢？比如： FM类模型有哪些改进？ 哪些模型或者应用引入了FM思想？ 近期的顶会针对FM有哪些改进工作？ 工业界大规模数据场景下如何分布式训练FM模型？ 这一连串的问题代表了学术界和工业界对FM模型关于如何优化和实际应用的深入思考。带着这些问题，下文中笔者根据自己的理解将从不同方面对FM模型的演进进行介绍。文中涉及到的公式进行统一表示来方便读者理解，并为读者提供了参考文献的链接。 一、区别特征交互作用 这部分模型的演进思路就是根据假设来增加参数量（即模型复杂度）来提高模型表达能力。FFM模型参数量太大，一则容易过拟合，二则不利于线上大规模部署（内存压力）。笔者更倾向于Field-weighted FM，简单有效，在效果和实际应用上做了很好的tradeoff。 FM 文章链接：csie.ntu.edu.tw/~b97053 Field-aware FM 文章链接：csie.ntu.edu.tw/~r01922 FM中一个特征只对应一个向量