TensorFlow Linux GPU + jupyterlab 环境安装（Docker） (Ubuntu Deepin Manjaro)

版权声明：本文为 neucrack 的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://neucrack.com/p/116

这里使用 docker ，安装环境更加简单（只需要装 NVIDIA 驱动，不需要装cuda，当然也不用为cuda版本烦恼）稳定～
而且可以同时运行多个 docker，比如同时运行多个 jupyterlab 给不同人使用

一、安装docker#

安装 docker，版本必须是19.03及以上（可以使用docker --version 查看），如果版本低于这个版本，后面使用nvidia-docker 驱动就会失败，会提示找不到--gpu all 参数

1.1. 安装#

如果是Manjaro，直接yay -S docker
其他发行版：

参见官方教程：https://docs.docker.com/install/linux/docker-ce/debian/

deepin 是基于 debian 9.0
如果是 deepin 则需要修改 sudo vim /usr/share/python-apt/templates/Deepin.info 里面的unstable为stable
并使用命令sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian stretch stable"

1.2. 设置代理#

如果下载慢，可能需要设置代理，也可以不使用官方镜像，使用国内的镜像，比如 daocloud 镜像加速

docker 代理设置参考： https://neucrack.com/p/286

pull 镜像的时候可以设置代理让拉取更快，创建容器时建议将代理去掉

1.3. 设置当前用户可以访问docker（非root）#

参考这里： https://docs.docker.com/install/linux/linux-postinstall/

sudo groupadd docker
sudo usermod -aG docker $USER
newgrp docker # 或者重新开启终端即可，如果未生效，可重启

1.4. 常用命令#

docker images: 列出镜像列表
docker run [options] image_name [command]：从镜像新建一个容器
docker ps: 正在运行的容器
docker ps -a: 所有容器，包括没有正在运行的
docker rm container_name：删除容器
docker rmi image_name：删除镜像
docker start container_name：启动容器
docker attatch container_name：附着到容器里
docker exec conrainer_name [comand]：在容器中执行命令
docker logs container_name: 查看容器执行log

docker build -t image_name .：从 Dockerfile 构建一个镜像

1.5. docker run 常用参数#

-it：启用交互式终端
-rm：及时删除，不保存容器，即退出后就删除
--gpus all：启用所有GPU支持
-p port1:port2：宿主机和容器端口映射，port1为宿主机的端口
-v volume1:volume2：宿主机和容器的磁盘映射， volume1是宿主机的文件夹，比如映射/home/${USER}/notes到/tf/notes
--name name：给容器取名，如果没有这个参数，名字就是随机生成的
--device device:container_device：挂在设备，比如/dev/ttyUSB0:/dev/ttyUSB0
--network=host：使用宿主机的网络
--restart: 自动启动, 可以用这个设置开机自启, 如果run的时候忘了可以用docker update --restart=always 容器名来更新

no:		                     不自动重启容器. (默认value)
on-failure:               容器发生error而退出(容器退出状态不为0)重启容器
unless-stopped: 	在容器已经stop掉或Docker stoped/restarted的时候才重启容器
always:                  在容器已经stop掉或Docker stoped/restarted的时候才重启容器

二、安装显卡驱动#

显卡安装部分独立写了一篇，参考Linux Nvidia显卡安装

三、安装镜像#

参考官方文档：https://www.tensorflow.org/install/docker

比如我这里Ubuntu：（一定看文档，可能会不一样，有更新）

安装 nvidia-docker

按照 readme 中的installation guide 安装即可，比如 Ubuntu：

# Add the package repositories
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

如果是deepin，则需要改一下系统版本

distribution="ubuntu18.04"
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

如果是 Manjaro，只需要命令 yay -S nvidia-docker 即可！（如果遇到下载慢，可以使用poipo设置全局代理，参考终端代理设置方法）

测试 nvidia-docker 以及cuda能不能使用起来

使用nvidia/cuda这个镜像，这个镜像只是用来测试，用完也可以删掉，如果没有设置代理，不想花费太多时间拉取镜像，可以不用这个镜像，直接使用tensorflow/tensorflow:latest-gpu-py3这个镜像或者neucrack/tensorflow-gpu-py3-jupyterlab(或 daocloud.io/neucrack/tensorflow-gpu-py3-jupyterlab)这个镜像（推荐）（在前者的基础上装了jupyterlab，而且做了更好的用户权限管理）

lspci | grep -i nvidia
docker run --gpus all --rm nvidia/cuda nvidia-smi

比如：

➜  ~ sudo docker run --gpus all --rm nvidia/cuda nvidia-smi
Tue Mar 10 15:57:12 2020       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 440.64       Driver Version: 440.64       CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 106...  Off  | 00000000:01:00.0  On |                  N/A |
| 33%   39C    P0    27W / 120W |    310MiB /  6075MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+

Wed Mar 11 02:04:26 2020       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 430.40       Driver Version: 430.40       CUDA Version: 10.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:04:00.0 Off |                  N/A |
| 35%   41C    P5    25W / 250W |      0MiB / 11178MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GTX 108...  Off  | 00000000:81:00.0 Off |                  N/A |
| 39%   36C    P5    19W / 250W |      0MiB / 11178MiB |      2%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

如果驱动版本太低，这里就会提示需要更新驱动

同时注意到cuda版本是10.2，可能tensorflow只支持到10.1，如果是在宿主机上直接装tensorflow就会报错不支持，这里用docker的好处就体现了，不用理会，只需要保证驱动装好就可以了

deepin 出现了错误

docker: Error response from daemon: OCI runtime create failed: container_linux.go:349: starting container process caused "process_linux.go:449: container init caused \"process_linux.go:432: running prestart hook 0 caused \\\"error running hook: exit status 1, stdout: , stderr: nvidia-container-cli: ldcache error: open failed: /sbin/ldconfig.real: no such file or directory\\\\n\\\"\"": unknown.

参考这里的解决方法：https://github.com/NVIDIA/nvidia-docker/issues/614 ，解决：

ln -s /sbin/ldconfig /sbin/ldconfig.real

docker 出现错误：nvidia-container-cli: initialization error: cuda error: unknown error
重启系统得到解决

四、运行 tensorflow with GPU#

拉取镜像，直接拉取

docker pull neucrack/tensorflow-gpu-py3-jupyterlab
# docker pull tensorflow/tensorflow:latest-gpu-py3-jupyter
# docker pull tensorflow/tensorflow
# docker pull tensorflow/tensorflow:latest-gpu

国内可以使用放在 daocloud 的镜像，速度会快一些：

docker pull daocloud.io/neucrack/tensorflow-gpu-py3-jupyterlab

执行测试语句：

docker run --gpus all -it --rm neucrack/tensorflow-gpu-py3-jupyterlab python -c "import tensorflow as tf; print('-----version:{}, gpu:{}, 1+2={}'.format(tf.__version__, tf.test.is_gpu_available(), tf.add(1, 2).numpy()) );"

如果使用了daocloud，镜像名需要修改成daocloud.io/neucrack/tensorflow-gpu-py3-jupyterlab

如果没问题，就会出现以下输出（会伴随一大堆调试信息，也可能有警告信息，可以仔细看一下）：

-----version:2.1.0, gpu:True, 1+2=3

五、Jupyterlab#

docker run --gpus all --name jupyterlab-gpu -it -p 8889:8889 -e USER_NAME=$USER -e USER_ID=`id -u $USER` -e GROUP_NAME=`id -gn $USER` -e GROUP_ID=`id -g $USER` -v /home/${USER}:/tf neucrack/tensorflow-gpu-py3-jupyterlab

如果使用了daocloud，镜像名需要修改成daocloud.io/neucrack/tensorflow-gpu-py3-jupyterlab

然后就能用浏览器在http://127.0.0.1:8889/地址使用 jupyterlab了，而且目录对应了设置的/home/${USER}目录

jupyterlab

退出直接Ctrl+C即可
这个容器创建后会一直存在于电脑里，可以使用docker ps -a查看到，下次启动使用

docker start jupyterlab_gpu

也可以附着到容器：

docker attatch jupyterlab_gpu

停止容器：

docker stop jupyterlab_gpu

删除容器：

docker rm jupyterlab_gpu

修改 user 和 root 密码, 这样就可以使用 sudo 命令了

docker exec -it jupyterlab_gpu /bin/bash
passwd $USER
passwd root

如果需要每次都重新新建一个容器，用完就删除，只需要在run命令后面添加一个-rm参数即可

六、其它问题#

运行程序时提示： ResourceExhaustedError: OOM when allocating tensor with shape[784,128]

使用nvidia-smi查看内存使用情况

tensorflow会一次性申请（几乎）所有显存：

➜  ~ nvidia-smi
Fri Mar 20 09:18:48 2020       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 435.21       Driver Version: 435.21       CUDA Version: 10.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:04:00.0  On |                  N/A |
|  0%   48C    P2    60W / 250W |  10726MiB / 11178MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GTX 108...  Off  | 00000000:81:00.0 Off |                  N/A |
|  0%   47C    P2    58W / 250W |    197MiB / 11178MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0      3099      G   /usr/lib/xorg/Xorg                            21MiB |
|    0     40037      C   /usr/bin/python3                           10693MiB |
|    1     40037      C   /usr/bin/python3                             185MiB |
+-----------------------------------------------------------------------------+

有可能是使用显存的进程太多了，可以适当退出一些进程；
也有可能申请内存重复了，可以尝试重启容器解决

一直运行没有结果

重启docker 容器解决，总之遇事不决，重启解决。。

提示could not retrieve CUDA device count: CUDA_ERROR_NOT_INITIALIZED

可能使用了多进程, 新的进程直接拷贝了当前进程的环境,导致错误, 解决办法是父进程需要引入, 在子进程中需要使用的时候单独import,而不是写到全局, 参考这里: https://abcdabcd987.com/python-multiprocessing/

ImportError: libGL.so.1: cannot open shared object file: No such file or directory

apt install libgl1-mesa-glx

Failed to get convolution algorithm. This is probably because cuDNN failed to initialize

显卡内存不足，检查是不是被其它程序占用了，如果多张显卡，可以设置环境变量CUDA_VISIBLE_DEVICES来设置将要使用的显卡，比如这里共有三张显卡，下标分别是0，1，2，选择第三张卡则设置为2

import os

os.environ["CUDA_VISIBLE_DEVICES"] = '2'

七、参考#

文章1

页面有多个一级标题

Gitalking ...

安装docker
安装显卡驱动
安装镜像
运行 tensorflow with GPU
Jupyterlab
其它问题
参考

teedoc

TensorFlow Linux GPU + jupyterlab 环境安装 （Docker） (Ubuntu Deepin Manjaro)