利用matlab编写的卷积滤波器代码-auditory_hallucinations_CNN-LSTM，该代码用于通过CNN-LSTM网络学习马林巴的多模态表示

用卷积滤波器matlab代码深度听觉幻觉 观看演示视频！ 概述 该项目探索在乐器环境下从视觉领域到音频领域的跨模式学习。 在敲击的马林巴的成对图像序列以及产生的声音输出上训练神经网络。 给定一系列输入图像I 1 ，I 2 ，I 3 ，...，I n ，神经网络的任务是产生相应的音频特征s 1 ，s 2 ，s 3 ，...，s n ，其中st ∈R 18。 最初，我们使用RNN将CNN功能作为输入，以此作为回归问题。 该项目的灵感来自。 然而，与欧文斯等人，与来自大自然的声音未俯仰和日常工作对象主要由过滤白噪声和冲动的，今年工作重点放在投乐器，特别是马林巴，是频谱纯净。 在撰写本文时，CNN-LSTM能够拟合较小的序列，但尚不能将其推广到整个数据集。 GT Marimba数据集 由于有许多令人信服的原因，我们选择了马林巴琴作为众多乐器的选择： 音高信息在空间域中完全编码（左侧的注释较低，右侧的注释较高） 音高信息以小节的几何形状编码（更大的小节=较小的音调，较小的小节=较高的音调） 音色信息以条的纹理和颜色编码（木材与金属纹理） 马林巴是一种频谱纯净的乐器，主要由几个正弦曲线和很少的泛音