-
BERT应用于多任务学习场景:bert-multitask-learning
资源介绍
多任务学习专家
注意:从0.4.0开始,tf版本必须大于等于2.1。
安装
pip install bert-multitask-learning
它是什么
这个项目使用变压器(基于拥抱面部变压器)进行多模式多任务学习。
我为什么需要这个
在原始的BERT代码中,多任务学习或多GPU训练都不可行。 另外,该项目的初衷是NER,它在原始BERT代码中没有有效的脚本。
总而言之,与原始bert回购相比,此回购具有以下功能:
多模式多任务学习(重写大部分代码的主要原因)。
多GPU训练
支持序列标记(例如NER)和Encoder-Decoder Seq2Seq(带变压器解码器)。
支持哪些类型