©PaperWeekly 原创 · 作者|桑运鑫
学校|上海交通大学硕士生
研究方向|图神经网络在金融领域的应用
GATNE
论文标题:Representation Learning for Attributed Multiplex Heterogeneous Network
论文来源:KDD 2019
论文链接:https://arxiv.org/abs/1905.01669
代码链接:https://github.com/THUDM/GATNE
这篇论文提出了一种在 Attributed Multiplex Heterogeneous Network 上进行嵌入学习的框架 GATNE,该框架同时支持转导式学习(transductive learning)和归纳式学习(inductive learning),在 Amazon,Youtube,Twitter 和 Alibaba 四个数据集上取得显著提升。
相比于传统的只有一种边或只有一种节点的图,Attributed Multiplex Heterogeneous Network(AMHEN)中包含多种节点,多种边,每种节点都有不同的属性,各种类型的图有代表性的嵌入方法如下表所示。
AMHEN 有以下几个问题:
每对节点之间可能有多种类型的边,需要对每种关系都学习不同的表示。
很多图嵌入方法都是转导式学习,无法处理没有见过的数据,而商品推荐中存在长尾和冷启动的问题。
真实场景中的图规模通常很大,所以提出的算法应当可以处理大规模数据。
基于上述问题,文章提出了 General Attributed Multiplex HeTerogeneous Network Embedding(GATHE)。
对于一个图 , 是 个节点的集合, 是属于不同关系 的边的集合,每条边 都有一个权重 ,根据边的类型 ,我们可以将图拆分成各个子图 。
为了使模型同时适用于转导式学习和归纳式学习,文章首先提出了适用于转导式学习的 GATNE-T,之后通过一些改进提出了适用于归纳式学习的 GATNE-I。
对于 GATNE-T,对每个节点 的 embedding 分为 base embedding 和 edge embedding 两部分。同一个节点的 base embedding 在不同的边类型中是一样的。在边类型为 的子图上,edge embedding 则从邻居节点的 edge embedding 聚合得到:
之后将经过节点 经过 次聚合之后的 种(边的类型数)不同的 edge embedding 拼接在一起进行注意力加权,加上 base embedding 得到节点在边类型 下的 embedding:
其中 是衡量不同 edge type 重要性的超参数, 是可训练的转换矩阵。
但是转导式的方法只能获得在训练集中出现过的 item 的 embedding,但在商品推荐等真实场景中存在冷启动问题,因此文章在 GATNE-T 的基础上提出了归纳式的算法 GATNE-I。该算法使用节点 的属性 生成 base embedding,其中 是节点 的节点类型。同样的,节点初始的 edge embedding 也通过类似的方式生成:
最终,节点 在 edge type 上的 embedding 为:
其中 是 coefficient, 是可训练的转化矩阵。
在模型训练上,文章采用了基于 meta-path 的 random walk。对于只包含关系 的子图 和给定的 meta-path ,每一步的转移概率规定为:
训练的目标函数为最大化给定 时周围节点出现的概率:
该模型在四个数据集上取得了最好的结果。
GraphRec
论文标题:Graph Neural Networks for Social Recommendation
论文来源:WWW 2019
论文链接:https://arxiv.org/abs/1902.07243
代码链接:https://github.com/wenqifan03/GraphRec-WWW19
一个基于 GNN 的社交推荐系统要处理两个图:社交图(social graph)和用户-商品图(user-item graph),这方面的研究主要面临以下挑战:
如何有效融合两个图
如何同时捕捉用户和商品之间的交互和观点
如何处理不同的社交关系
为了解决上述问题,文章提出了 GraphRec。
规定 和 分别是用户和商品的集合, 是用户-商品评分矩阵, 是用户 对商品 的评分,也可以被认为是用户 对商品 的观点。 是评分,如果不知道则取 0。
此外, 表示用户和用户之间的社交图,如果用户 和用户 之间有关系 ,如果没有则取 0。给定用户-商品图 和社交图 ,目标是预测 中的缺失值。我们使用一个嵌入向量 来表示用户 ,用另一个嵌入向量 来表示物品 。
因为涉及到用户和商品两个主体,整个模型分为 User Modeling 和 Item Modeling 两部分。User Modeling 用于学习用户的隐变量 。为了有效地结合用户-商品图和社交图,模型从两个图中使用两种不同的聚合方式学习用户隐变量。在用户-商品图中学习商品空间中的用户隐向量:
其中 是用户 交互的商品集, 是表征用户 和商品 之间交互的向量。因为用户与商品之间的关系有多种,体现在评分矩阵 上就是每个元素 可能有多个取值,例如 ,如果用户 与物品 的关系为 ,则 可以利用物品嵌入 和观点(opinion)嵌入通过 MLP 获得:
在聚合方式上,采用类似 Attention 的方式进行加权:
类似的,从社交图中获取用户隐向量的方式如下:
其中 是用户 直接交互的用户集。
获得 和 后,可以通过 MLP 获得用户隐向量 :
Item Modeling 方面,和在用户-商品图中的 User Modeling 类似的,如果用户 与物品 的关系为 ,则用向量 来捕捉两者之间的交互信息。最终的隐向量 也是通过类似注意力加权的形式得到:
其中 是商品 交互的用户集。
文章使用预测评分的任务来对模型进行训练:
模型中涉及的三个嵌入向量:item embedding , user embedding , opinion embedding 随机初始化。损失函数为:
文章提出的模型在 Ciao 和 Epinions 两个数据集上取得了最好的结果。
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得或技术干货。我们的目的只有一个,让知识真正流动起来。
???? 来稿标准:
• 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)
• 如果文章并非首发,请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志
???? 投稿邮箱:
• 投稿邮箱:hr@paperweekly.site
• 所有文章配图,请单独在附件中发送
• 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。
来源:oschina
链接:https://my.oschina.net/u/4350184/blog/4546721