Flow-based model

文章: NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATION

 

学习目标：找一个变换h=f(x)，使得变换后的分布的每个分量是独立的

 我们假设h和x的维度是一样的，f是可逆的，则我们有

 并且，我们希望f的Jacobian矩阵和f⁻¹比较容易计算。如果这是可以操作的，那么我们可以直接采样p_X(x),

 这个f的设计的主要核心思想是，将x分裂成两部分(x1,x2),然后变换成(y1,y2),

m可以是任意的函数(i.e., a ReLU MLP). 注意到，Jacobian矩阵的行列式是单位阵，并且非常容易算逆函数，

当然我们可以定义更一般性的架构,，加性交错coupling的架构。并且可以有一层一层的变换，有种flow的感觉。

 

 

 我们可以定义最大似然函数：

p_H(h)：先验分布，可以事先定义好的，比如各向同性的高斯分布.如果h的每个分量都是独立的，我们可以写成，

 还有很多模型，待续。。。

来源：https://www.cnblogs.com/skykill/p/11986839.html