-
神经对话生成对抗神经网络的matlab代码
资源介绍
生成对抗神经网络matlab代码#NeuralTalk
该项目包含Python+numpy源代码,用于学习用句子描述图像的多模态循环神经网络。
这方面的工作最近出现在
a
中,并且在过去几个月里一直是研究界多篇学术论文的主题。
此代码目前实现了
和
提出的模型。
两种模型都采用图像并使用循环神经网络(LSTM
或
RNN)预测其句子描述。
概述
该项目的管道如下所示:
输入是使用
Amazon
Mechanical
Turk
收集的图像数据集和
5
个句子描述。
特别是,此代码库是为
、
和
数据集设置的。
在训练阶段,图像作为输入提供给
RNN,并要求
RNN
预测句子中的单词,条件是当前单词和先前的上下文,由神经网络的隐藏层介导。
在这个阶段,网络的参数通过反向传播进行训练。
在预测阶段,一组保留的图像被传递给
RNN,RNN
一次一个词地生成句子。
结果通过BLEU
分数和排名实验(即将推出)进行评估。
该代码还包括用于在
HTML
中可视化结果的实用程序。
依赖关系
Python
2.7
,现代版本的numpy/scipy
,
nltk
(如果你想做
BLEU
分数评估),
a