-
谷歌师兄的LeetCode刷题笔记中记录了如何在PyTorch框架下运用预训练的XLNet和GPT-2模型生成对话响应
资源介绍
谷歌师兄的leetcode刷题笔记对话生成
使用预XLNet实现神经对话生成器模型和GPT2架构在当前三个数据集上:
DailyDialog
,
PersonaChat
和新的TopicalChat
从
。
Top-k
采样和核解码可用作解码技术。
训练目标是对话语和对话历史的自回归语言建模。
安装
该模型可以利用来自
nvidia/apex
的混合精度训练。
请注意,顶点不是必需的,只有在可用时才使用。
安装指南见官方。
使用此模块并非对所有
GPU(仅
Volta
和
Turing)都有用,如果您的实例支持混合精度训练,您应该事先检查。
要训练模型,请克隆此存储库并安装依赖项。
该项目使用
cython
组装批次以加快输入管道。
它也更喜欢使用
python
virtualenv。
git
clone
https://github.com/bme-chatbots/dialogue-generation.git
cd
dialogue-generation
pip
install
-r
requirements.txt
python
setup.py
build_ext
--i