-
分层定义的标记注意网络BiLSTM-LAN,应用于序列标记任务
资源介绍
BiLSTM-标签注意网络(BiLSTM-LAN)
(EMNLP 2019)
模型结构
该模型由两个BiLSTM-LAN层组成。 每个BiLSTM-LAN层都由一个BiLSTM编码子层和一个标签注意推断子层组成。 特别是,前者与基线模型中的BiLSTM层相同,而后者则使用多头注意来联合编码来自单词表示子空间和标签表示子空间的信息。
要求
Python3
PyTorch:0.3
火车模型
下载数据和单词嵌入
运行脚本:
python main.py --learning_rate 0.01 --lr_decay 0.035 --dropout 0.5 --hidden_dim 400 --lstm_layer 3 --momentum 0.9 --whether_clip_grad True --clip_grad 5.0 \
--train_dir 'wsj_pos/train.po