-
DeepSeg在TensorFlow 2.x中实现中文分词
资源介绍
deepseg
Tensorflow 2.x 实现的神经网络分词模型!一键训练&一键部署!
tensorflow 1.x的实现请切换到tf1分支
推荐本项目使用到的两个库:
用于加载各种预训练Bert和Albert模型。
基于之上的CRF层实现。
开发环境
conda create -n deepseg python=3.6
conda activate deepseg
pip install -r requirements.txt
数据集下载
训练模型
可以使用deepseg/run_deepseg.py脚本来训练你的模型。需要提供以下参数:
--model,模型,可选择 bisltm-crf, bigru-crf, bert-crf, albert-crf, bert-bilstm-crf, albert-bilstm-crf
如果是bert-based或者albert-base