新型多模态表示学习方法FACTORCL

　　最近，研究人员推出了一种名为FACTORCL的新型多模态表示学习方法，以解决对比学习在复杂多模态背景下的局限性。现有的多模态预训练技术主要基于多视图学习，利用多视图冗余的关键前提，即通过模态间的信息交换几乎完全与随后的任务相关。

　　对比学习在真实世界中更广泛的多模态背景下存在的两个关键限制:

　　1. 在许多任务中存在较少的任务相关信息，使得传统多模态对比学习难以获得所需的任务相关信息。

　　2. 多个模态可能提供不同的任务相关信息，传统对比学习会忽略这些独特的信息，导致性能下降。为了克服这些限制，研究人员引入了FACTORCL方法，通过明确因子化共享和独特的表示，以获得适当和必要的信息内容。

　　该方法通过最大化互信息下界和最小化互信息上界，独立优化共享和独特信息，从而实现了对任务相关信息的最优表示。另外，FACTORCL利用多模态增强在自监督场景中估计任务相关信息，无需显式标记，提高了学习效果。在实验证明，FACTORCL在多个数据集上实现了新的最先进性能。

　　FACTORCL方法的基本原理，包括明确因子化共享和独特的表示，以及通过最大化互信息下界和最小化互信息上界来优化共享和独特信息的学习。

　　研究人员使用FACTORCL在合成数据集和真实世界多模态基准测试中进行的实验证明，包括情感、情绪、幽默、讽刺等方面的预测，以及在六个数据集上达到的最先进性能。