Docker volume

Docker文件系统工作模式：镜像是由多个文件系统(只读层)叠加而成。当启动一个容器，Docker会加载镜像层并在其上添加一个读写层。如果运行中的容器修改了现有的一个已存在的文件，那该文件将会从读写层下的只读层复制到读写层，该文件的只读版本仍然存在，只是已经被读写层中该文件的副本所隐藏。当删除Docker容器,并通过该镜像重新启动时，之前的更改将会丢失。在Docker中只读层以及在顶部的读写层的组合被称为Union FIle System(联合文件系统)。
为了能够保存(持久化)数据以及共享容器间的数据，Docker提出了Volume的概念。简单来说,Volume就是目录或者文件，它可以绕过默认的联合文件系统，而以正常的文件或者目录的形式存在于宿主机上。

挂载的三种形式

1.挂载容器内地址
2.本地的目录挂载到容器里面的数据卷
3.创建一个仅有数据的容器，并将这个容器当做一个volume,挂载到其他容器当中去

初始化Volume

1)docker run -v /data
上面的命令会将/data(detination)挂载到容器中，并绕过联合文件系统，可以在主机上直接操作该目录。可以使用docker inspect命令找到Volume在主机上的存储位置（source）。Docker把在source下的某个目录挂载到了容器内的/data目录下
root@syx-VB:~# docker run -v /home/syx/dockerfile:/data ubuntu ls /data df_test1
该命令将挂载主机的/home/syx/dockerfile目录到容器内的/data目录上。任何在/home/syx/dockerfile目录下的文件都会出现在容器内。这对于在主机和容器之间共享文件是非常有用的,例如挂载需要编译的源代码。为了保证可移植性，挂载主机目录不需要从Dockerfile指定。当使用-v参数时,镜像目录下的任何文件都不会被复制到Volume中。
2)Dockerfile 中改变 FROM ubunut VOLUME /data

实现数据共享

-volumes-from参数
docker run -it -h NEWCONTAINER --volumes-from container-test ubuntu /bin/bash

数据容器

使用纯数据容器来持久化数据库，配置文件或者数据文件等。
docker run --name dbdate postgres echo “Data-Only container for postgres”
该命令将会创建一个已经包含在Dockerfile里定义过Volume的postgres镜像，运行echo命令（当我们运行docker ps命令时，echo可以帮助我们识别某镜像的用途）然后退出。我们可以用-volume-from命令来识别其他容器的Volume:docker run -d --volumes-from dadate --name db1 postgres

安装anaconda镜像

anaconda镜像

搜索存在的anaconda镜像 docker search anaconda
image.png
选择anaconda3 docker pull continuumio/anaconda3
image.png
运行镜像，指定网络端口
docker run -i -t -p 12345:8888 continuumio/anaconda3 /bin/bash
image.png
查看环境 python conda list pip list
image.png
image.png
image.png

jupyter

查看是否已经安装jupyter
image.png
运行jupyter jupyter notebook --port 8888 --ip 0.0.0.0 --allow-root
image.png
可通过浏览器访问

搭建其他

查看现有的虚拟环境conda env list，仅存在一个base
image.png
创建一个搭载TensorFlow（GPU）的虚拟环境 conda create -n tensorflow
1.安装cuda torch torchvision
conda install pytorch torchvision cudatoolkit=8.0 -c pytorch
pip install torch==0.4.1 torchvision==0.2.1 -f https://download.pytorch.org/whl/DDcu80/stable # CUDA 8.0 build
image.png
image.png
2.安装gpu版TensorFlow
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn tensorflow-gpu==2.0.0
image.png
3.查看pip list
安装成功
image.png
创建一个搭载TensorFlow（CPU）的虚拟环境 conda create -n tensorflow
conda create -n tensorflow_cpu
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn tensorflow==2.0.0

创建一个搭载xgboost 和lightgbm的虚拟环境 conda create -n xg_gbm
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple xgboost
pip install lightgbm

查看虚拟环境，现在有base、tensorflow、tensorflow_cpu、xg_gbm四种虚拟环境
image.png

打包生成新的镜像

docker commit -a "lilinxu" -m "a docker image based on anaconda with tensorflow, xgboost and lightgbm" 91c4e15d7e25 condaenv
可以看到大小为5.66G
image.png
将其上传到网站上
docker tag condaenv:latest [username]/condaenv
docker push [username]/condaenv
image.png
image.png

层的复用

以上操作后生成的镜像
image.png
有四层
image.png
image.png
继续对condaenv操作，新建一个python2.7版本下的虚拟环境
conda create -n py27 python=2.7
conda install pandas
conda install jupyter notebook
在xg_gbm虚拟环境中增加jupyter notebook
conda install jupyter notebook

docker commit -a "lilinxu" -m "a docker image based on anaconda with tensorflow, xgboost and lightgbm" 91c4e15d7e25 condaenv:v1.1
image.png
可以看到只有一个layer发生改变，其他layer不变
image.png
image.png
image.png
参考
https://blog.csdn.net/docerce/article/details/79265858 Docker数据持久之volume和bind mount
https://zhuanlan.zhihu.com/p/36650372 Volume挂载 三种情况
https://docs.docker.com/machine/reference/mount/ mount
https://github.com/jupyterlab/jupyterlab