2023-02-04 22:17:02.457962: I tensorflow/stream_executor/cuda/cuda_driver.cc:831] failed to allocate 152.00M (159383552 bytes) from device: CUDA_ERROR_OUT_OF_MEMORY: out of memory
查看GPU内存使用情况：
nvidia-smi
命令行如何查看GPU的内存使用情况?
查看CPU内存使用情况
1、输入命令：top，
2、输入命令：htop，
若没有该命令，需要先安装，ubuntu安装命令为：
sudo apt-get install htop
centos安装命令为：
yum install htop
查看GPU内存使用情况
1、输入命令： nvidia-smi ，该命令只能显示一次。
2、实时显示
1）使用watch命令, 按照指定间隔刷新，例如下面命令是每隔1s刷新一次
watch -n 1 nvidia-smi
2）watch每个时间周期开启一个进程(PID)，查看后关闭进程，会影响cuda操作，建议使用nvidia-smi -l n或者nvidia-smi --loop=n，这个命令执行期间一直是一个进程PID。例如下面命令是每隔1s刷新一次。
nvidia-smi -l 1
