如何理解 Graph Convolutional Network（GCN）？

几年前如果熟练使用TensorFlow，同时掌握基本的AI算法就可以很容易找到一份高薪的工作，但现在不一样了，AI岗位的要求越来越高，对知识的深度也提出了更高的要求。

如果现在一个面试官让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议.... 这些要求一点都不过分。相反，连这些基本内容都有些吃力，就需要重新审视一下自己的核心技术壁垒了。

为了迎合时代的需求，我们去年推出了《机器学习高端训练营》班。这个训练营的目的很简单：想培养更多高端的人才，帮助那些即将或者目前从事科研的朋友，同时帮助已从事AI行业的提高技术深度。

在本期训练营（第四期）中我们对内容做了大幅度的更新，一方面新增了对前沿主题的讲解如图神经网络（GCN,GAT等），另外一方面对核心部分（如凸优化、强化学习）加大了对理论层面上的深度。除此之外，也会包含科研方法论、元学习、解释性、Fair learning等系列主题。目前在全网上应该找不到类似体系化的课程。课程仍然采用全程直播授课模式。

那什么样的人适合来参加高阶班呢？

从事AI行业多年，但技术上总感觉不够深入，感觉在技术上遇到了瓶颈；
停留在使用模型/工具上，很难基于业务场景来提出新的模型；
对于机器学习背后的优化理论、前沿的技术不够深入；
计划从事尖端的科研、研究工作、申请AI领域研究生、博士生；
打算进入最顶尖的AI公司比如Google，Facebook，Amazon，阿里，头条等；
读ICML，IJCAI等会议文章比较吃力，似懂非懂感觉，无法把每个细节理解透；

01 课程大纲

第一部分：凸优化与机器学习

第一周：凸优化介绍

从优化角度理解机器学习
优化技术的重要性
常见的凸优化问题
线性规划以及Simplex Method
Two-Stage LP
案例：运输问题讲解

第二周：凸函数讲解

凸集的判断
First-Order Convexity
Second-order Convexity
Operations Preserve Convexity
二次规划问题（QP)
案例：最小二乘问题
项目作业：股票投资组合优化

第三周：凸优化问题

常见的凸优化问题类别
半定规划问题
几何规划问题
非凸函数的优化
松弛化（Relaxation）
整数规划（Integer Programming)
案例：打车中的匹配问题

第四周：对偶（Duality）

拉格朗日对偶函数
对偶的几何意义
Weak and Strong Duality
KKT条件
LP, QP, SDP的对偶问题
案例：经典模型的对偶推导及实现
对偶的其他应用

第五周：优化技术

一阶与二阶优化技术
Gradient Descent
Subgradient Method
Proximal Gradient Descent
Projected Gradient Descent
SGD与收敛
Newton's Method
Quasi-Newton's Method

第二部分图神经网络

第六周：数学基础

向量空间和图论基础
Inner Product, Hilbert Space
Eigenfunctions, Eigenvalue
傅里叶变化
卷积操作
Time Domain, Spectral Domain
Laplacian, Graph Laplacian

第七周：谱域的图神经网络

卷积神经网络回归
卷积操作的数学意义
Graph Convolution
Graph Filter
ChebNet
CayleyNet
GCN
Graph Pooling
案例：基于GCN的推荐

第八周：空间域的图神经网络

Spatial Convolution
Mixture Model Network (MoNet)
注意力机制
Graph Attention Network(GAT)
Edge Convolution
空间域与谱域的比较
项目作业：基于图神经网络的链路预测

第九周：图神经网络改进与应用

拓展1: Relative Position与图神经网络
拓展2：融入Edge特征：Edge GCN
拓展3：图神经网络与知识图谱: Knowledge GCN
拓展4：姿势识别：ST-GCN
案例：基于图的文本分类
案例：基于图的阅读理解

第三部分强化学习

第十周：强化学习基础

Markov Decision Process
Bellman Equation
三种方法：Value，Policy，Model-Based
Value-Based Approach: Q-learning
Policy-Based Approach: SARSA

第十一周：Multi-Armed Bandits

Multi-Armed bandits
Epsilon-Greedy
Upper Confidence Bound (UCB)
Contextual UCB
LinUCB & Kernel UCB
案例：Bandits在推荐系统的应用案例

第十二周：路径规划

Monte-Carlo Tree Search
N-step learning
Approximation
Reward Shaping
结合深度学习：Deep RL
项目作业：强化学习在游戏中的应用案例

第十三周: 自然语言处理中的RL

Seq2seq模型的问题
结合Evaluation Metric的自定义loss
结合aspect的自定义loss
不同RL模型与seq2seq模型的结合
案例：基于RL的文本生成

第四部分贝叶斯方法

第十四周：贝叶斯方法论简介

贝叶斯定理
从MLE, MAP到贝叶斯估计
集成模型与贝叶斯方法比较
计算上的Intractiblity
MCMC与变分法简介
贝叶斯线性回归
贝叶斯神经网络
案例：基于Bayesian-LSTM的命名实体识别

第十五周：主题模型

生成模型与判别模型
隐变量模型
贝叶斯中Prior的重要性
狄利克雷分布、多项式分布
LDA的生成过程
LDA中的参数与隐变量
Supervised LDA
Dynamic LDA
LDA的其他变种
项目作业：LDA的基础上修改并搭建无监督情感分析模型

第十六周：MCMC方法

Detailed Balance
对于LDA的吉布斯采样
对于LDA的Collapsed吉布斯采样
Metropolis Hasting
Importance Sampling
Rejection Sampling
大规模分布式MCMC
大数据与SGLD
案例：基于分布式的LDA训练

第十七周：变分法（Variational Method)

变分法核心思想
KL散度与ELBo的推导
Mean-Field变分法
EM算法
LDA的变分法推导
大数据与SVI
变分法与MCMC的比较
Variational Autoencoder
Probabilistic Programming
案例：使用概率编程工具来训练贝叶斯模型

第十八周：其他前沿主题

模型的可解释性
解释CNN模型
解释序列模型
Meta Learing
Fair Learning
技术前瞻

●●●

课程其他的细节可以联系课程顾问来获取

添加课程顾问小姐姐微信

报名、课程咨询

????????????

02 部分案例和项目

运输优化问题：在运筹学以及优化领域最为经典的问题之一，类似的思想广泛应用在仓库优化，匹配等问题上。

涉及到的知识点：

线性回归以及优化实现
Two-Stage随机线性规划一下优化实现

打车中的路径规划问题：我们几乎每天都在使用打车软件或者外卖软件。对于这些应用来讲，核心算法应用就是乘客和车辆的匹配。

涉及到的知识点：

Mixed Integer Linear Programming
提供approximation bounds

经典机器学习模型的对偶推导及实现：通过此练习，更深入理解机器学习模型以及对偶的作用。

涉及到的知识点：

SVM，LP等模型
对偶技术
KKT条件

基于图神经网络的文本分类：当使用语法分析工具处理文本之后，一段文本便可以成为一个图，接下来就可以使用图卷积神经网络来做后续的分类工作

涉及到的知识点：

语法分析
图神经网络

基于图神经网络的阅读理解：一般的阅读需要让机器阅读多个文章并对提出的问题给出答案。在阅读理解中抽取关键的实体和关系变得很重要，这些实体和关系可以用来构造一个图。

涉及到的知识点：

命名识别，关系抽取
图神经网络
Heterogeneous Graph

Bandits在推荐系统的应用案例：Bandits应用在顺序决策问题的应用中有易于实现、计算效率高、解决冷启动问题、数据标注相对要求不高（一般只需部分标注作为reward，如用户点击）等优点。本案例讲解bandits如何应用在新闻推荐的系统中做基于内容的推荐。

涉及到的知识点：

Exploration & Exploitation
Epsilon Greedy
Upper Confidential Bounder
LineUCB

使用概率编程工具来训练贝叶斯模型：类似于Pytorch，Tensorflow，概率编程工具提供了对贝叶斯模型的自动学习，我们以LDA等模型为例来说明这些工具的使用。

涉及到的知识点：

概率编程
主题模型
MCMC和变分法

股票投资组合优化：在投资组合优化中，我们需要根据用户的风险承受能力来设计并组合资产。在本项目中，我们试着在二次规划的框架下做一些必要的修改如加入必要的限制条件、必要的正则来控制组合的稀疏性、加入投资中的先验等信息，最后根据预先定义好的评估标准来引导模型的学习

涉及到的知识点：

二次规划
不同的正则使用
基于限制条件的优化
先验的引入

课程其他的细节可以联系课程顾问来获取

添加课程顾问小姐姐微信

报名、课程咨询

????????????

03 授课导师

李文哲：贪心科技创始人兼CEO，人工智能和知识图谱领域专家，曾任金融科技独角兽公司的首席科学家、美国亚马逊的高级工程师，先后负责过聊天机器人、量化交易、自适应教育、金融知识图谱等项目，并在AAAI、KDD、AISTATS等顶会上发表过15篇以上论文，并荣获IAAI，IPDPS的最佳论文奖，多次出席行业峰会发表演讲。分别在USC, TAMU，南开攻读博士、硕士和本科。

杨栋：香港城市大学博士, UC Merced博士后，主要从事于机器学习，图卷积，图嵌入的研究。先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等国际顶会及期刊上发表过数篇论文。担任过贪心学院高阶课程的讲师，获得了学员一致的好评。

04直播授课，现场推导演示

区别于劣质的PPT讲解，导师全程现场推导，让你在学习中有清晰的思路，深刻的理解算法模型背后推导的每个细节。更重要的是可以清晰地看到各种模型之间的关系！帮助你打通六脉！