资源介绍
萝卜
Radish可以让你的模型从训练到部署都使用相同的C ++代码库,通过libtorch,让您专注于实现模型及对应数据处理。
如何打造
安装bazel 0.28+
C ++ 17特性支持的编译器(7.3.2,8.3.0已验证)
运行构建原型:bazel build bert:train_albert_main
为什么造这个*
AI真正的落地需要很好的工程化
模型太多了,训练,预先等也需要很好工程化
实时训练场景如有些RL需要真正多线程支持,而不是Python
训练与推理相同代码库,缩小落地Gap
如果你碰到以上问题,萝卜值得尝试!
如何使用
派生自萝卜:: LlbModel类,实现对应
- 上一篇: HPR:基于人类合理推理理论的推理引擎
- 下一篇: LightSeq: NLP高性能序列推理引擎