火炬中的高效重整器：Pytorch

重整器，高效的变压器，在火炬 这是改革者的Pytorch实现 它包括LSH注意，可逆网络和分块。 它已通过自动回归任务（enwik8）进行了验证。 它还包括其他功能，可以使整个网络完全受到关注。 32k代币 半精度81k令牌 安装 $ pip install reformer_pytorch 用法 一个简单的改革者语言模型 # should fit in ~ 5gb - 8k tokens import torch from reformer_pytorch import ReformerLM model = ReformerLM ( num_tokens = 20000 , dim = 1024 , depth = 12 , max_seq_len = 8192 , heads = 8 , lsh_dropout = 0.1 , ff_dropout = 0.1 , post_attn_dropout = 0.1 , layer_dropout = 0.1 , # layer dropout from