Pytorch-Memory-Utils: 一款用于跟踪Pytorch内存的代码工具

Pytorch-Memory-Utils 这些代码可以帮助您在使用Pytorch进行训练期间检测GPU内存。 有关此工具的博客，并解释了详细信息： : 用法： 将modelsize_estimate.py或gpu_mem_track.py放在当前工作目录下并导入它们。 以下是打印内容。 计算单个模型的内存使用量 Model Sequential : params: 0.450304M Model Sequential : intermedite variables: 336.089600 M (without backward) Model Sequential : intermedite variables: 672.179200 M (with backward) 跟踪GPU内存使用量 # 30-Apr-21-20:25:29-gpu_mem_track.txt GPU