资源介绍
Fairseq(-py)是一个序列建模工具包,研究人员和开发人员可以使用它们来训练定制模型,以进行翻译,摘要,语言建模和其他文本生成任务。
我们提供各种序列建模论文的参考实现:
实施文件清单
卷积神经网络(CNN)
LightConv和DynamicConv模型
长短期记忆(LSTM)网络基于注意力的神经机器翻译的有效方法(Luong et al。,2015)
变压器(自我关注)网络
注意就是您所需要的(Vaswani et al。,2017)
非自回归变压器
非自回归神经机器翻译(Gu et al。,2017)
通过迭代细化确定性的非自回归神经序列建模(Lee et al.2018)
插入变压器:通过插入操作灵活地生成序列(Stern等人2019)
屏蔽预测:条件屏蔽语言模型的并行解码(Ghazvininejad等,2019)
微调
什么是新的:
2020年12月: