-
keras-self-attention是一种用于处理顺序数据的注意力机制，它会考虑到每个时间戳的上下文信息
资源介绍
Keras 自注意力
[| ]
处理顺序数据的注意力机制，考虑了每个时间戳的上下文。
安装
pip install keras-self-attention
用法
基本的
默认情况下，注意力层使用附加注意力并在计算相关性时考虑整个上下文。 以下代码创建了一个注意力层，它遵循第一部分中的方程（ attention_activation是e_{t, t'}的激活函数）：
import keras
from keras_self_attention import SeqSelfAttention
model = keras . models . Sequential ()
model . add ( keras . layers . Embedding ( input_dim = 10000 ,
output_dim =