Leetcode-decoupled-multimodal-learning是一种生成的、无监督的、解耦的多模态神经架构

颜色分类leetcode 用于现实世界代理的解耦、生成、无监督、多模式架构。 这个存储库是什么？ 这个存储库包含一个新的生成多模式架构的工作实现。 完全无监督，并且对超参数具有很大的不变性，该实现学习根据（MNIST 的音频版本）对 MNIST 进行分类，反之亦然，准确率~97.8%并在数据中发现正确的类数。 TLDR：为什么这个架构很整洁。 它学会在没有监督的情况下对数据进行准确分类，并且无需事先了解数据中包含的类别。 它通过利用多模式“刺激”之间的时间相关性来做到这一点。 类似于婴儿通过将物体的图像与其父母发出的声音相关联来学习物体的名称。 它比经典聚类算法更稳健地发现数据中的类数。 学到的知识是有根据的。 数据是根据其他数据学习和分类的，即：根据声音的图像，根据其他图像的图像等。 它是高度可扩展的。 可以轻松添加任意数量的附加模式。 “奖励”可以被视为一种模态，系统将学习将类与其预期奖励相关联。 这很简单，而且在生物学上是合理的。 看： 。 收敛-发散区 Antonio Damasio 于 1989 年提出的收敛-发散区是一种生物学上合理的架构，它描述了大脑如何学习生成的、多模态