-
深度学习推理性能分析工具:dl-infer-perf
资源介绍
dl-推断性能
在pytorch / tensorflow和TensorRT / XLA / TVM上进行深度学习推理性能的性能分析。
环境环境
TVM
码头工人:nvidia / cuda:11.1.1-devel-ubuntu18.0
用llvm编译tvm(clang + llvm-11.0.1-x86_64-linux-gnu-ubuntu-16.04)
virtualenv :
XLA
码头工人:nvcr.io/nvidia/tensorflow:20.07-tf2-py3
TensorRT
码头工人:nvcr.io/nvidia/tensorrt:19.09-py3
virtualenv :
用法
按优化程序和前端运行
usage: executor.py [-h] [-w WARMUP] [-r ROUNDS] [-s SIZE]