本文主要是为了讲解xDeepFM的框架，及如何用tensorflow去实现主干部分，如果需要直接拆箱可用，可以参考:xDeepFM，我的部分代码也来自于其中，这边主要是和大家一起对比着看下，xDeepFM到底做了哪些事情？我的工程实现代码等待我司项目上线稳定后开源。
XDeepFM到底extreme在哪里？
首先，我在做论坛帖子推荐的时候遇到这么一个问题（问题真实，问题内容纯属虚构），用户A：带有如下标签[篮球、足球、健身]，用户B：带有如下标签[篮球，电脑，蔡徐坤]，在使用deepfm做精排的时候，常常会把A和B所看的内容互相推荐，很明显，A是运动达人，而B是二次元达人，这样推荐是存在很大问题的。
我在处理的时候，采取了两种套路：
- 改变Memorization为attention网络，强化feature直接的联系，让B中的电脑与蔡徐坤进行绑定，而不是让篮球电脑蔡徐坤进行混合绑定，让Memorization去记忆的时候进行权重倾斜
- Memorization通常为低阶特征交互，那我就升高阶数，svm告诉我们，在越高的维度上我们越有可能把数据集进行越离散的切分，XDeepFM就相当于把DeepFM中的1维+2维，变成了1维+2维+(l+1)维特征组合
XDeepFM如何实现的？
网上大多数版本都是甩出的正方体图+公式，我觉得很不清晰，这边就不贴了，我直接贴代码及解释：
nn_input = tf.reshape(nn_input, shape=[-1, int(field_num), self.hparams.dim])
我们知道，无论是deepfm还是XDeepFM在初始化的时候，都会把feature进行onehotencoding后向量化，然后再压缩成一个[batch,dim*FIELD_COUNT]的input，这边只是将其还原成网上常见的正方体的形式：[batch,field_num,dim]
split_tensor0 = tf.split(hidden_nn_layers[0], self.hparams.dim * [1], 2)
这个就是XDeepFM最有意思的地方，我们正常理解都是把特征按照不同的特征进行切分组合，在XDeepFM它却按照dim进行切开然后进行点击，而且是外积，所以大家难以理解的就在这边，用数据来说就是：
tf.convert_to_tensor(np.arange(1,13).reshape(2,2,3),dtype=tf.int32)
array([[[ 1, 2, 3],
[ 4, 5, 6]],
[[ 7, 8, 9],
[10, 11, 12]]], dtype=int32)
切割完为：
[array([[[ 1],
[ 4]],
[[ 7],
[10]]], dtype=int32),
array([[[ 2],
[ 5]],
[[ 8],
[11]]], dtype=int32),
array([[[ 3],
[ 6]],
[[ 9],
[12]]], dtype=int32)]
这边没有按照[1,2,3]这种方式去切分，而是按照[[1],[4]]这种方式，在dim上进行切分。
dot_result_m = tf.matmul(split_tensor0, split_tensor, transpose_b=True)这一步也是很有意思，没有常规意义上做点击dot，做的外积，生生的把向量铺开了：
array([[[[ 1, 4],
[ 4, 16]],
[[ 49, 70],
[ 70, 100]]],
[[[ 4, 10],
[ 10, 25]],
[[ 64, 88],
[ 88, 121]]],
[[[ 9, 18],
[ 18, 36]],
[[ 81, 108],
[108, 144]]]], dtype=int32)
把刚才的[[1],[4]]按照外积的形式去处理了，并得到了一个[bacth_size,dim,field_nums[0] * field_nums[-1]]的形式。再通过[1,field_nums[-1] * field_nums[0],output]进行卷积处理相当于在dim的每一维上进行融合，融合的是所有特征dim的每一维。最后才sum_pooling操作，外接一个输出层压缩到1个输出值。
CIN为什么要搞这么复杂，比deepfm好在哪？
看代码就知道，刚才CIN的过程可以进行N次，
这里面的l代表着从0层开始了l次的特征组合，比起deepfm的2次，对特征的组合更深，能解释的空间更为复杂
CIN很完美吗？
虽然作者在论文刚开始的时候就吐槽了DCN的低端，认为DCN其实就是init层的N次交叉，但是我认为DCN的残差项保证了特征的1～l+1特征都有，而CIN中去除了残差项，虽然更快了，但是相当于丢弃了1～l阶特征的组合结果，不见得可取
实操经验分享？
- XDeepFM比起循环神经网络是快了不止一个量级的，基于DNN+CNN这种架构下，并行策略保证它很高效的执行速度。
- 如果是baseline的尝试，建议优先DeepFM，绝大多数情况下，DeepFM已经满足了我们的基础需求。我司实际项目的效果下XDeepFM在离线数据集上目前也只有0.1%的提升，但是代码量及code review的压力却大了很多。
- 在走XDeepFM的路子时候，可以考虑把DeepFM中的Memorization层加入DIN中的Attention，完全不逊色。
更多代码内容欢迎follow我的个人Github，如果有任何算法、代码疑问都欢迎通过邮箱发消息给我。
来源：CSDN
作者：sladesha
链接：https://blog.csdn.net/slade_sha/article/details/103587652