-
与“使用预训练的变压器模型进行数据扩充”相关的代码:transformers-data-augmentation
资源介绍
使用预训练的变压器模型进行数据增强
与相关的代码论文
代码包含以下数据扩充方法的实现
EDA(基准)
回译(基准)
CBERT(基准)
BERT Prepend(我们的论文)
GPT-2前置(我们的论文)
BART前置(我们的论文)
数据集
在本文中,我们使用以下资源中的三个数据集
STSA-2: :
TREC: :
SNIPS: :
低数据状态实验设置
运行src/utils/download_and_prepare_datasets.sh文件以准备所有数据集。 download_and_prepare_datasets.sh执行以下步骤
从github下载数据
用STSA-2和TREC数据集的文本替换数字标签
对于给定的数据集,创建Train和dev数据的15个随机分割。
依存关系
要运行此代码,您需要遵循以下依赖性
火炬1.5
Fairseq 0.9
变形