分布式对象存储MinIO

一、概述

MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。 官方文档：https://docs.min.io/
中文文档：http://docs.minio.org.cn/docs/
GitHub 地址：https://github.com/minio/minio 特点：
  • 数据保护**——分布式 Minio 采用 纠删码来防范多个节点宕机和位衰减 bit rot。分布式 Minio 至少需要 4 个硬盘，使用分布式 Minio 自动引入了纠删码功能。**
  • 高可用**——单机 Minio 服务存在单点故障，相反，如果是一个有 N 块硬盘的分布式 Minio，只要有 N/2 硬盘在线，数据就是安全的。不过需要至少有 N/2+1 个硬盘来创建新的对象。**

例如，一个 16 节点的 Minio 集群，每个节点 16 块硬盘，就算 8 台服務器宕机，这个集群仍然是可读的，不过需要 9 台服務器才能写数据。

【温馨提示】只要遵守分布式 Minio 的限制，可以组合不同的节点和每个节点几块硬盘。比如，可以使用 2 个节点，每个节点 4 块硬盘，也可以使用 4 个节点，每个节点两块硬盘，诸如此类。

  • 一致性**——Minio 在分布式和单机模式下，所有读写操作都严格遵守 read-after-write 一致性模型。**
MinIO 的优点如下：
  • 部署简单**，一个二进制文件（minio）即是一切，还可以支持各种平台**
  • 支持海量存储**，可以按 zone 扩展，支持单个对象最大 5TB**
  • 低冗余且磁盘损坏高容忍**，标准且最高的数据冗余系数为 2(即存储一个 1M 的数据对象，实际占用磁盘空间为 2M)。但在任意 n/2 块 disk 损坏的情况下依然可以读出数据(n 为一个纠删码集合中的 disk 数量)。并且这种损坏恢复是基于单个对象的，而不是基于整个存储卷的**
  • 读写性能优异

二、MinIO 基础概念

  • S3**——Simple Storage Service，简单存储服务，这个概念是 Amazon 在 2006 年推出的，对象存储就是从那个时候诞生的。S3 提供了一个简单 Web 服务接口，可用于随时在 Web 上的任何位置存储和检索任何数量的数据。**
  • Object**——存储到 Minio 的基本对象，如文件、字节流，Anything…**
  • Bucket**——用来存储 Object 的逻辑空间。每个 Bucket 之间的数据是相互隔离的。**
  • Drive**——部署 Minio 时设置的磁盘，Minio 中所有的对象数据都会存储在 Drive 里。**
  • Set**——一组 Drive 的集合，分布式部署根据集群规模自动划分一个或多个 Set ，每个 Set 中的 Drive 分布在不同位置。**
    • 一个对象存储在一个 Set 上
    • 一个集群划分为多个 Set
    • 一个 Set 包含的 Drive 数量是固定的，默认由系统根据集群规模自动计算得出
    • 一个 SET 中的 Drive 尽可能分布在不同的节点上

Set /Drive 的关系

  • Set /Drive 这两个概念是 MINIO 里面最重要的两个概念，一个对象最终是存储在 Set 上面的。
  • Set 是另外一个概念，Set 是一组 Drive 的集合，图中，所有蓝色、橙色背景的 Drive（硬盘）的就组成了一个 Set。

高性能分布式对象存储 MinIO - 图1

三、纠删码（Erasure Code）

纠删码（Erasure Code）简称 EC，是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。

  • 纠删码是一种恢复丢失和损坏数据的数学算法，目前，纠删码技术在分布式存储系统中的应用主要有三类，**阵列纠删码（Array Code: RAID5、RAID6 等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码**。
  • Erasure Code 是一种编码技术，它可以将 n 份原始数据，增加 m 份校验数据，并能通过 n+m 份中的任意 n 份原始数据，还原为原始数据。
  • 即如果有任意小于等于 m 份的校验数据失效，仍然能通过剩下的数据还原出来。
  • Minio 采用 Reed-Solomon code 将对象拆分成 N/2 数据和 N/2 **奇偶校验块**。
  • 在同一集群内，MinIO 自己会自动生成若干纠删组（Set），用于分布存放桶数据。一个纠删组中的一定数量的磁盘发生的故障（故障磁盘的数量小于等于校验盘的数量），通过纠删码校验算法可以恢复出正确的数据。

四、MinIO

1）单主机，单硬盘模式

高性能分布式对象存储 MinIO - 图2

该模式下，Minio 只在一台服务器上搭建服务，且数据都存在单块磁盘上，该模式存在单点风险，主要用作开发、测试等使用

2）单主机，多硬盘模式

高性能分布式对象存储 MinIO - 图3

该模式下，Minio 在一台服务器上搭建服务，但数据分散在多块（大于 4 块）磁盘上，提供了数据上的安全保障。

3）多主机、多硬盘模式（分布式）

高性能分布式对象存储 MinIO - 图4

该模式是 Minio 服务最常用的架构，通过共享一个 access_key 和 secret_key,在多台服务器上搭建服务，且数据分散在多块（大于 4 块，无上限）磁盘上，提供了较为强大的数据冗余机制（Reed-Solomon 纠删码）。

五、MinIO 环境部署（分布式）

高性能分布式对象存储 MinIO - 图5

1）环境准备

  1. |        主机名      |       IP        |                  data                   |
  2. |-------------------|-----------------|-----------------------------------------|
  3. | local-168-182-110 | 192.168.182.110 | /opt/bigdata/minio/data/export{1,2,3,4} |
  4. | local-168-182-111 | 192.168.182.111 | /opt/bigdata/minio/data/export{1,2,3,4} |
  5. | local-168-182-112 | 192.168.182.112 | /opt/bigdata/minio/data/export{1,2,3,4} |

2）下载

  1. mkdir -p /opt/bigdata/minio ; cd /opt/bigdata/minio
  2. # 下载rpm包进行部署
  3. # wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20220802235916.0.0.x86_64.rpm -O minio.rpm
  4. # yum -y install minio.rpm
  6. # 下载二进制包部署
  7. wget https://dl.min.io/server/minio/release/linux-amd64/minio
  8. chmod +x /opt/bigdata/minio
  9. # 加在/etc/profile
  10. export PATH=$PATH:/opt/bigdata/minio
  12. minio --help

高性能分布式对象存储 MinIO - 图6

3）每台新加四块磁盘

  1. # 不重启，直接刷新磁盘数据总线，获取新加的磁盘
  2. for host in $(ls /sys/class/scsi_host) ; do echo "- - -" > /sys/class/scsi_host/$host/scan; done
  4. lsblk
  6. # 格式化
  7. mkfs.ext4 /dev/sdb
  8. mkfs.ext4 /dev/sdc
  9. mkfs.ext4 /dev/sdd
  10. mkfs.ext4 /dev/sde
  12. # 挂载
  13. mount /dev/sdb /opt/bigdata/minio/data/export1
  14. mount /dev/sdc /opt/bigdata/minio/data/export2
  15. mount /dev/sdd /opt/bigdata/minio/data/export3
  16. mount /dev/sde /opt/bigdata/minio/data/export4

【温馨提示】磁盘大小必须>1G，这里添加的是 4*2G 的盘

4）配置

Minio 默认9000端口，在配置文件中加入–address “127.0.0.1:9029” 可更改端口
  • **<font style="color:rgb(155, 110, 35);background-color:rgb(255, 245, 227);">MINIO_ACCESS_KEY</font>**：用户名，长度最小是 5 个字符
  • **<font style="color:rgb(155, 110, 35);background-color:rgb(255, 245, 227);">MINIO_SECRET_KEY</font>**：密码，密码不能设置过于简单，不然 minio 会启动失败，长度最小是 8 个字符
  • **<font style="color:rgb(155, 110, 35);background-color:rgb(255, 245, 227);">–config-dir</font>**：指定集群配置文件目录
  • **<font style="color:rgb(155, 110, 35);background-color:rgb(255, 245, 227);">–address</font>**：api 的端口，默认是**9000**
  • **<font style="color:rgb(155, 110, 35);background-color:rgb(255, 245, 227);">--console-address</font>** ：web 端口，默认随机
编写启动脚本（/opt/bigdata/minio/run.sh） 
  1. #!/bin/bash
  2. # 创建日志存储目录
  3. mkdir -p /opt/bigdata/minio/logs
  4. # 分别在三个节点上创建存储目录
  5. mkdir -p /opt/bigdata/minio/data/export{1,2,3,4}
  6. # 创建配置目录
  7. mkdir -p /etc/minio
  8. export MINIO_ROOT_USER=admin
  9. export MINIO_ROOT_PASSWORD=admin123456
  11. # 在三台机器上都执行该文件，即以分布式的方式启动了MINIO
  12. # --address "0.0.0.0:9000" 挂载9001端口为api端口（如Java客户端）访问的端口
  13. # --console-address ":9000" 挂载9000端口为web端口；
  14. /opt/bigdata/minio/minio server --address 0.0.0.0:9000 --console-address 0.0.0.0:9001 --config-dir /etc/minio \
  15. http://local-168-182-110/opt/bigdata/minio/data/export1 \
  16. http://local-168-182-110/opt/bigdata/minio/data/export2 \
  17. http://local-168-182-110/opt/bigdata/minio/data/export3 \
  18. http://local-168-182-110/opt/bigdata/minio/data/export4 \
  19. http://local-168-182-111/opt/bigdata/minio/data/export1 \
  20. http://local-168-182-111/opt/bigdata/minio/data/export2 \
  21. http://local-168-182-111/opt/bigdata/minio/data/export3 \
  22. http://local-168-182-111/opt/bigdata/minio/data/export4 \
  23. http://local-168-182-112/opt/bigdata/minio/data/export1 \
  24. http://local-168-182-112/opt/bigdata/minio/data/export2 \
  25. http://local-168-182-112/opt/bigdata/minio/data/export3 \
  26. http://local-168-182-112/opt/bigdata/minio/data/export4 > /opt/bigdata/minio/logs/minio_server.log
【温馨提示】下面脚本复制时 \ 后不要有空格，还有就是上面的目录是对应的一块磁盘，而非简单的在/opt/bigdata/minio/data 目录下创建四个目录，要不然会报如下错误，看提示以为是 root 权限问题。part of root disk, will not be used (*errors.errorString)

高性能分布式对象存储 MinIO - 图7

5）启动服务

  1. # 在三台机器上都执行该文件，即以分布式的方式启动了MINIO
  2. sh /opt/bigdata/minio/run.sh
添加或修改 minio.service，通过 systemctl 启停服务（推荐）
  • WorkingDirectory**：二进制文件目录**
  • ExecStart**：指定集群启动脚本**
  1. # 如果使用rpm安装，minio.service就会自动生成，只要修改就行
  2. cat > /usr/lib/systemd/system/minio.service <<EOF
  3. [Unit]
  4. Description=Minio service
  5. Documentation=https://docs.minio.io/
  7. [Service]
  8. WorkingDirectory=/opt/bigdata/minio
  9. ExecStart=/opt/bigdata/minio/run.sh
  11. Restart=on-failure
  12. RestartSec=5
  14. [Install]
  15. WantedBy=multi-user.target
  16. EOF
修改文件权限 
  1. chmod +x /usr/lib/systemd/system/minio.service && chmod +x /opt/bigdata/minio/minio && chmod +x /opt/bigdata/minio/run.sh
  3. # 将文件copy其它节点local-168-182-111，local-168-182-112
  4. scp -r /usr/lib/systemd/system/minio.servicee local-168-182-111:/usr/lib/systemd/system/minio.service
  5. scp -r /opt/bigdata/minio local-168-182-111:/opt/bigdata/
  7. scp -r /usr/lib/systemd/system/minio.service local-168-182-112:/usr/lib/systemd/system/minio.service
  8. scp -r /opt/bigdata/minio local-168-182-112:/opt/bigdata/

启动集群

  1.  #重新加载服务
  2. systemctl daemon-reload
  3. #启动服务
  4. systemctl start minio
  5. #加入自启动
  6. systemctl enable minio

高性能分布式对象存储 MinIO - 图8
访问 MinIO，三个节点都可以访问
http://local-168-182-110:9001/
http://local-168-182-111:9001/
http://local-168-182-112:9001/

账号密码：admin/admin123456

高性能分布式对象存储 MinIO - 图9

6）使用 Nginx 负载均衡

单独对每个节点进行访问显然不合理，通过使用 Nginx 代理，进行负载均衡则很有必要。简单的配置如下：

  1. # 安装nginx
  2. yum install epel-release -y
  3. yum install nginx -y
  4. systemctl start nginx
  5. systemctl status nginx
  6. systemctl enable nginx

添加配置文件，配置内容如下：

  1. vim  /etc/nginx/conf.d/minio.conf
  3. upstream minio_api {
  4.     server 192.168.182.110:9000;
  5.     server 192.168.182.111:9000;
  6.     server 192.168.182.112:9000;
  7. }
  9. upstream minio_console {
  10.     server 192.168.182.110:9001;
  11.     server 192.168.182.111:9001;
  12.     server 192.168.182.112:9001;
  13. }
  15. server{
  16.     listen       19000;
  17.     server_name  192.168.182.110;
  19.     ignore_invalid_headers off;
  20.     client_max_body_size 0;
  21.     proxy_buffering off;
  23.     location / {
  24.         proxy_set_header   X-Forwarded-Proto $scheme;
  25.         proxy_set_header   Host              $http_host;
  26.         proxy_set_header   X-Real-IP         $remote_addr;
  28.         proxy_connect_timeout 300;
  29.         proxy_http_version 1.1;
  30.         chunked_transfer_encoding off;
  31.         proxy_ignore_client_abort on;
  33.         proxy_pass http://minio_api;
  34.     }
  35. }
  37. server{
  38.     listen       19001;
  39.     server_name  192.168.182.110;
  41.     ignore_invalid_headers off;
  42.     client_max_body_size 0;
  43.     proxy_buffering off;
  45.     location / {
  46.         proxy_set_header   X-Forwarded-Proto $scheme;
  47.         proxy_set_header   Host              $http_host;
  48.         proxy_set_header   X-Real-IP         $remote_addr;
  50.         proxy_connect_timeout 300;
  51.         proxy_http_version 1.1;
  52.         chunked_transfer_encoding off;
  53.         proxy_ignore_client_abort on;
  55.         proxy_pass http://minio_console;
  56.     }
  57. }
重启加载配置 
  1. nginx -t
  2. nginx -s reload
  3. #或者
  4. systemctl reload nginx
访问：http://local-168-182-110:19001

高性能分布式对象存储 MinIO - 图10

六、MinIO 客户端 ( mc)

  • MinIO Client mc 命令行工具为 UNIX 命令（如 ls、cat、cp、mirror 和）提供了一种现代替代方案，并 diff 支持文件系统和兼容 Amazon S3 的云存储服务。
  • mc 命令行工具是为与 AWS S3 API 兼容而构建的，并针对预期的功能和行为测试了 MinIO 和 AWS S3。
  • MinIO 不为其他与 S3 兼容的服务提供任何保证，因为它们的 S3 API 实现是未知的，因此不受支持。虽然 mc 命令可以按文档说明工作，但任何此类使用都需要自担风险。

1）下载

  1. cd /opt/bigdata/minio/
  2. wget https://dl.min.io/client/mc/release/linux-amd64/mc
  3. chmod +x mc
  4. ./mc --help

2）添加 MinIO 存储服务

MinIO 服务器显示 URL，访问权和秘密密钥。
【用法】

  1. mc config host add <ALIAS> <YOUR-MINIO-ENDPOINT> [YOUR-ACCESS-KEY] [YOUR-SECRET-KEY]

【示例】

  1. cd /opt/bigdata/minio/
  2. # 明文输入
  3. ./mc config host add minio http://local-168-182-110:19000 admin admin123456
  5. # 密文输入（推荐）
  6. ./mc config host add minio http://local-168-182-110:19000
  7. Enter Access Key: admin
  8. Enter Secret Key: admin123456

3）测试

  1. cd /opt/bigdata/minio/
  2. # 获取已配置别名“ minio”的MinIO服务器信息
  3. ./mc admin info minio
  5. # 添加外壳别名以获取信息，以便恢复。
  6. alias minfo='/opt/bigdata/minio/mc admin info'
  7. alias mheal='/opt/bigdata/minio/mc admin heal'

高性能分布式对象存储 MinIO - 图11

更多示例操作，可以参考官方文档：http://docs.minio.org.cn/docs/master/minio-admin-complete-guide 【温馨提示】如果有条件，也可以使用腾讯云的cos（Cloud Object Storage：云对象存储）和阿里云的oss（Object Storage Service：对象存储服务）等公有云产品。