-
PyTorch实现的LSTM-Shuttle
资源介绍
[EMNLP'18(Long)]快速阅读:学习通过航天飞机向后阅读
LSTM-Shuttle的PyTorch实现
|
概述
LSTM-Shuttle是“” 和在自然语言处理的经验方法会议( EMNLP )2018中(长期)
LSTM-Shuttle不仅向前读取穿梭内容,而且向后走。 向前穿梭可提高效率,向后穿梭可使模型有机会恢复丢失的信息,从而确保更好的预测。 它首先顺序读取固定数量的单词,然后输出隐藏状态。 然后,基于隐藏状态,LSTM-Shuttle计算前进或后退步幅上的Shuttle softmax分布。
要求
该代码在Python3和下实现。 还需要以下库:
> = 0.4
用法
我们将用作预训练的词嵌入。
LSTM-香草
model_lstm-vanilla.ipynb
LSTM跳跃
model_lstm-jump.ipynb
LSTM穿梭机
model_lstm-shu