多模态阅读笔记 Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning
Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning 这篇文件讲的是， 按照现有多模态的任务， 往往会 出现噪音的问题 ， 噪声 使得模型一直得不到最好结果， 而这篇文章提出一个去噪方法，自监督的去训练一个去噪模块来消除噪声， 实验结果显示， 用此方法， 能够直接提高 VQA， Text-To-Video Retrieval 等任务的表现 本文贡献 证明多模态噪声的消除任务 可以归结为 多模态密度估计任务 提出一个模块用于学习一个抗噪声能力强的表示 并且变成一个 max margin ranking loss function. 通过HowTo100M dataset 进行自监督训练如何去噪 ， 然后用于5个任务， 结果可以发现进行提升 本文相关工作 Density Estimation： 密度估计 假设我们有一组来自未知密度函数的观察到的数据点，我们的目标是从观测到的数据估计他们的 概率密度函数 参数或半参数方法 非参数方法 密度估计理论（部分）_sinat_31184961的博客-CSDN博客_密度估计 自监督学习 一文读懂自监督学习_zandaoguang的博客-CSDN博客_自监督学习 多模态表示学习 joint representation 联合表示