极大似然估计
找一个θ，使得Pdata和PG越接近越好
加上log不影响求取θ，logA*logB=log（A+B），累乘变累加
*
KL divergence又叫相对熵。相对熵是一些优化算法，例如最大期望算法的损失函数。此时参与计算的一个概率分布为真实分布，另一个为理论分布，相对熵表示使用理论分布拟合真实分布时产生的信息损耗。
PG和Pdata的Divergence越接近越好
问题： PG和Pdata的公式未知 怎么计算这个divergence
train discriminator时要做什么
详见GAN–1
————————————————————————————————————————————
GAN算法
D可以多次迭代。从Pdata(x)中取样m个x，取m个噪声z，获得生成的数据G（z），更新θd最大化这个式子。
G只有一次。取m个噪声，更新θg最小化这个式子。
来源：CSDN
作者：shanhaibukeping
链接：https://blog.csdn.net/shanhaibukeping/article/details/103681681