分布式对象存储 MinIO 实战教程

一、客户端操作 MinIO Client（mc）

alias       set, remove and list aliases in configuration file
ls          list buckets and objects
mb          make a bucket
rb          remove a bucket
cp          copy objects
mirror      synchronize object(s) to a remote site
cat         display object contents
head        display first 'n' lines of an object
pipe        stream STDIN to an object
share       generate URL for temporary access to an object
find        search for objects
sql         run sql queries on objects
stat        show object metadata
mv          move objects
tree        list buckets and objects in a tree format
du          summarize disk usage recursively
retention   set retention for object(s)
legalhold   set legal hold for object(s)
diff        list differences in object name, size, and date between two buckets
rm          remove objects
encrypt    manage bucket encryption config
event       manage object notifications
watch       listen for object notification events
undo        undo PUT/DELETE operations
policy      manage anonymous access to buckets and objects
tag         manage tags for bucket(s) and object(s)
ilm         manage bucket lifecycle
version     manage bucket versioning
replicate   configure server side bucket replication
admin       manage MinIO servers
update      update mc to latest release

1）mc Shell 自动补全

# 安装
mc --autocompletion
# 重启shell，即退出shell，重新连接即可

2）查看 mc 版本

mc --version

3）列出来自https://play.min.io的所有存储桶

mc ls play
# json格式
mc --json ls play

4）创建桶

# 添加MinIO存储服务
cd /opt/bigdata/minio
./mc config host add minio http://local-168-182-110:19000 admin admin123456
# 在自己部署的minio创建新存储桶
mc mb minio/mybucket
# 查看所有桶
mc ls minio

web 访问：http://local-168-182-110:19001

5）复制文件到 MinIO

mc cp wget-log minio/mybucket
# 查看
mc ls wget-log minio/mybucket

6）日常使用

alias ls='mc ls'
alias cp='mc cp'
alias cat='mc cat'
alias mkdir='mc mb'
alias pipe='mc pipe'
alias find='mc find'
alias tree='mc tree'

7）MinIO 管理员操作

service              restart and stop all MinIO servers
update               update all MinIO servers
info                 display MinIO server information
user                 manage users
group                manage groups
policy               manage policies defined in the MinIO server
replicate            manage MinIO site replication
config               manage MinIO server configuration
decommission, decom  manage MinIO server pool decommissioning
heal                 heal disks, buckets and objects on MinIO server
prometheus           manages prometheus config
kms                  perform KMS management operations
bucket               manage buckets defined in the MinIO server
tier                 manage remote tier targets for ILM transition
top                  provide top like statistics for MinIO
trace                show http trace for MinIO server
console              show console logs for MinIO server

1）查看集群信息

mc admin info minio
# 为了方便使用，可以设置别名
alias minfo='mc admin info'
minfo minio

2）全局选项

1、选项 [<font style="color:black;">--debug</font>]

mc admin info --debug minio

2、选项 [<font style="color:black;">--json</font>]

mc admin --json info minio

3）命令 service- 重启和停止所有 MinIO 服务器

mc admin service restart minio

4）命令 policy- 管理预设策略

NAME:
  mc admin policy - manage policies
FLAGS:
  --help, -h                       show help
COMMANDS:
  add      add new policy
  remove   remove policy
  list     list all policies
  info     show info on a policy
  set      set IAM policy on a user or group

1、【示例】列出 MinIO 上的所有预设策略

mc admin policy list minio

2、【示例】在 MinIO 上添加新策略“listbucketsonly”

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListAllMyBuckets"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ]
        }
    ]
}

mc admin policy add minio listbucketsonly /tmp/listbucketsonly.json
# 删除 MinIO 上的策略“listbucketsonly”
mc admin policy remove minio listbucketsonly

3、【示例】在用户或组上设置标准策略。’writeonly’

# 添加一个新用户“newuser”，密码"newuser123"
mc admin user add minio newuser newuser123
# 给用户添加策略
mc admin policy set minio writeonly user=newuser
# 添加组“somegroup ”，把用户“newuser ”添加到组
mc admin group add minio somegroup newuser
# 给组添加策略
mc admin policy set minio writeonly group=somegroup

5）命令 user- 管理用户

1、【示例】在 MinIO 上添加一个新用户“newuser”

# 添加一个新用户“newuser”，密码"newuser123"
mc admin user add minio newuser newuser123

2、【示例】在 MinIO 上禁用用户“newuser”

mc admin user disable minio newuser

3、【示例】在 MinIO 上启用用户“newuser”

mc admin user enable minio newuser

4、【示例】在 MinIO 上删除用户“newuser”

mc admin user remove minio newuser

5、【示例】列出 MinIO 上的所有用户

mc admin user list --json minio

6、【示例】显示用户信息

mc admin user info minio newuser

6）命令 group- 管理组

1、【示例】将用户添加到 MinIO 上的组“somegroup”

# 如果组不存在，则创建组。
mc admin group add minio somegroup newuser

2、【示例】从 MinIO 上的组“somegroup”中删除用户

mc admin group remove minio somegroup newuser

3、【示例】在 MinIO 上删除一个组“somegroup”

mc admin group remove minio somegroup

4、【示例】在 MinIO 上获取组“somegroup”的信息

# 添加组
mc admin group add minio somegroup newuser
# 删除
mc admin group info minio somegroup

5、【示例】列出 MinIO 上的所有组

mc admin group list minio

6、【示例】在 MinIO 上启用组“somegroup”

mc admin group enable minio somegroup

7、【示例】在 MinIO 上禁用组“somegroup”

mc admin group disable minio somegroup

7）命令 config- 管理服务器配置

<font style="color:rgb(40, 202, 113);">config</font>命令来管理 MinIO 服务器配置。

1、【示例】获取“etcd”子系统配置

# 通过引入第三方组件etcd，在不动原有集群的基础上实现动态扩展方案
mc admin config get minio etcd

2、【示例】在“etcd”子系统上设置特定设置

mc admin config set minio etcd endpoints=http://[hostname|ip]:2379

3、【示例】获取 MinIO 服务器/集群的整个服务器配置

mc admin config export minio > /tmp/my-serverconfig

4、【示例】设置 MinIO 服务器/集群的整个服务器配置

mc admin config import minio < /tmp/my-serverconfig

二、MinIO 分布式集群扩容

• 水平扩容**，一般指通过增加节点数扩展系统性能；**
• 而**垂直扩容则指提升各节点自身的性能，例如增加节点的磁盘存储空间。直接采用垂直扩容方式扩容 MinIO 集群的节点磁盘空间，会为集群运行带来若干问题，官方也并不推荐。因此本文主要介绍 MinIO 的两种水平扩容方式：对等扩容和联邦扩容**。

1）对等扩容

• 例如原集群包含**2 个节点 2 块磁盘，则在扩容时必须同样增加 2 个节点 2 块磁盘**（或为其倍数），以便系统维持相同的数据冗余 SLA，从而极大地降低扩容的复杂性；
• 如上例，在**扩容后，MinIO 集群并不会对全部的 4 个节点进行完全的数据均衡，而是将原本的2 个节点视作一个区域，新加入的 2 节点视作另一区域**；
• 当有新对象上传时，集群将依据各区域的可用空间比例确定存放区域，在各区域内仍旧通过哈希算法确定对应的纠删组进行最终的存放。此外，集群进行一次对等扩容后，还可依据扩容规则继续进行对等扩容，但出于安全性考虑，集群的最大节点数**一般不得超过 32 个**。

• 扩容需重启；
• 扩容存在限制，集群节点数一般不超过 32 个，这是由于 MinIO 集群通过分布式锁保证强一致性，若集群节点数过大，维护强一致性将带来性能问题。

1、环境准备

#!/bin/bash
# 创建日志存储目录
mkdir -p /opt/bigdata/minio/logs
# 分别在三个节点上创建存储目录
mkdir -p /opt/bigdata/minio/data/export{1,2,3,4}
# 创建配置目录
mkdir -p /etc/minio
export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=admin123456
# 所有节点都得修改重启服务
# --address "0.0.0.0:9000" 挂载9001端口为api端口（如Java客户端）访问的端口
# --console-address ":9000" 挂载9000端口为web端口；
/opt/bigdata/minio/minio server --address 0.0.0.0:9000 --console-address 0.0.0.0:9001 --config-dir /etc/minio \
http://192.168.182.11{0...1}/opt/bigdata/minio/data/export{1...2} > /opt/bigdata/minio/logs/minio_server.log

1、将配置 copy 一份到要扩容的节点

# 在local-168-182-110执行
cd /opt/bigdata/minio
scp -r /opt/bigdata/minio local-168-182-113:/opt/bigdata/
scp -r /usr/lib/systemd/system/minio.service local-168-182-113:/usr/lib/systemd/system/minio.service

2、添加磁盘

# 不重启，直接刷新磁盘数据总线，获取新加的磁盘
for host in $(ls /sys/class/scsi_host) ; do echo "- - -" > /sys/class/scsi_host/$host/scan; done
lsblk
# 格式化
mkfs.ext4 /dev/sdb
mkfs.ext4 /dev/sdc
mkfs.ext4 /dev/sdd
mkfs.ext4 /dev/sde
# 先删再创建挂载目录，因为这里面有其它节点的数据
rm -fr /opt/bigdata/minio/data/export{1..4}
mkdir -p /opt/bigdata/minio/data/export{1..4}
# 挂载
mount /dev/sdb /opt/bigdata/minio/data/export1
mount /dev/sdc /opt/bigdata/minio/data/export2
mount /dev/sdd /opt/bigdata/minio/data/export3
mount /dev/sde /opt/bigdata/minio/data/export4

3、修改启动脚本（run.sh）

#!/bin/bash
# 创建日志存储目录
mkdir -p /opt/bigdata/minio/logs
# 分别在三个节点上创建存储目录
mkdir -p /opt/bigdata/minio/data/export{1,2}
# 创建配置目录
mkdir -p /etc/minio
export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=admin123456
# 所有节点都得修改重启服务
# --address "0.0.0.0:9000" 挂载9001端口为api端口（如Java客户端）访问的端口
# --console-address ":9000" 挂载9000端口为web端口；
# 扩容地址：http://192.168.182.11{2...3}/opt/bigdata/minio/data/export{1...2}
/opt/bigdata/minio/minio server --address 0.0.0.0:9000 --console-address 0.0.0.0:9001 --config-dir /etc/minio \
http://192.168.182.11{0...1}/opt/bigdata/minio/data/export{1...2} \
http://192.168.182.11{2...3}/opt/bigdata/minio/data/export{1...2} > /opt/bigdata/minio/logs/minio_server.log

export MINIO_ACCESS_KEY=<ACCESS_KEY>
export MINIO_SECRET_KEY=<SECRET_KEY>
minio server http://192.168.1.11/export1 http://192.168.1.11/export2 \
               http://192.168.1.11/export3 http://192.168.1.11/export4 \
               http://192.168.1.12/export1 http://192.168.1.12/export2 \
               http://192.168.1.12/export3 http://192.168.1.12/export4 \
               http://192.168.1.13/export1 http://192.168.1.13/export2 \
               http://192.168.1.13/export3 http://192.168.1.13/export4 \
               http://192.168.1.14/export1 http://192.168.1.14/export2 \
               http://192.168.1.14/export3 http://192.168.1.14/export4

4、重启服务

systemctl restart minio

2）联邦扩容

• 其中，**etcd是一个开源的分布式键值存储数据库，在联邦中用于记录存储桶 IP 地址**。
• 联邦内的各个集群其数据存储以及一致性维护仍由各集群自行管理，联邦只是对外提供一个整体逻辑视图。
• 通过连接到联邦中任一集群的任一节点，可以查询并访问联邦内所有集群的全部数据，由此获得了逻辑上的空间扩大感。
• 但实际上，对于一个外部应用访问，联邦需依赖 etcd 定位到存储桶的实际存储节点，再进行数据访问，联邦则对外屏蔽了桶 IP 查找和定位过程，从而在逻辑上对外形成了一个统一整体。因此，**etcd 实际上起到了类似路由寻址的效果**。

• 客户端应用向联邦集群发送创建存储桶请求，桶名为 bucket1；
• 联邦会将 bucket1 实际所在的集群节点 IP 地址写入 etcd 中，例如 bucket1 实际将存储于联邦中的集群 1 上，而集群 1 包含 2 个节点，其节点 IP 地址分别为 192.168.182.112 和 192.168.182.113，则 etcd 中将写入如下两条记录：

1、部署 etcd

name: etcd01
data-dir: /opt/bigdata/etcd/data
initial-advertise-peer-urls: http://192.168.182.110:2380
listen-peer-urls: http://192.168.182.110:2380
listen-client-urls: http://192.168.182.110:2379,http://127.0.0.1:2379
advertise-client-urls: http://192.168.182.110:2379
initial-cluster-token: etcd-cluster
initial-cluster: etcd01=http://192.168.182.110:2380,etcd02=http://192.168.182.111:2380,etcd03=http://192.168.182.112:2380
initial-cluster-state: new

name: etcd02
data-dir: /opt/bigdata/etcd/data
initial-advertise-peer-urls: http://192.168.182.111:2380
listen-peer-urls: http://192.168.182.111:2380
listen-client-urls: http://192.168.182.111:2379,http://127.0.0.1:2379
advertise-client-urls: http://192.168.182.111:2379
initial-cluster-token: etcd-cluster
initial-cluster: etcd01=http://192.168.182.110:2380,etcd02=http://192.168.182.111:2380,etcd03=http://192.168.182.112:2380
initial-cluster-state: new

name: etcd03
data-dir: /opt/bigdata/etcd/data
initial-advertise-peer-urls: http://192.168.182.112:2380
listen-peer-urls: http://192.168.182.112:2380
listen-client-urls: http://192.168.182.112:2379,http://127.0.0.1:2379
advertise-client-urls: http://192.168.182.112:2379
initial-cluster-token: etcd-cluster
initial-cluster: etcd01=http://192.168.182.110:2380,etcd02=http://192.168.182.111:2380,etcd03=http://192.168.182.112:2380
initial-cluster-state: new

• name**：当前 etcd 节点名称。**
• data-dir**：数据存储目录。**
• initial-advertise-peer-urls**：集群的其他节点通过该地址与当前节点通信。**
• listen-peer-urls**：当前节点通过该地址监听集群其他节点发送的信息。**
• listen-client-urls**：当前节点通过该地址监听客户端发送的信息。**
• advertise-client-urls**：客户端通过该地址与当前节点通信**
• initial-cluster-token**：用于区分不同的集群，同一集群的所有节点配置相同的值。**
• initial-cluster**：当前集群的所有节点信息，当前节点根据此信息与其他节点取得联系。**
• initial-cluster-state**：本次是否为新建集群，有两个取值：new 和 existing。**

配置服务

cat >/usr/lib/systemd/system/etcd.service<<EOF
[Unit]
Description=etcd
After=network.target
[Service]
Type=notify
ExecStart=/opt/bigdata/etcd/etcd-v3.4.20-linux-amd64/etcd --config-file=/usr/local/etcd/conf.yml
[Install]
WantedBy=multi-user.target
EOF

启动服务

systemctl daemon-reload
systemctl start etcd.service

# 加软连接
ln -s /opt/bigdata/etcd/etcd-v3.4.20-linux-amd64/etcdctl /usr/local/bin/etcdctl
# 查看集群成员列表
etcdctl member list
# 查看集群成员健康情况
etcdctl endpoint health --endpoints=http://192.168.182.110:2380,http://192.168.182.111:2380,http://192.168.182.112:2380

ln -s /opt/bigdata/etcd/etcd-v3.4.20-linux-amd64/etcd /usr/local/bin/etcd
etcd --version

2、运行多个 MinIO 集群

cd /opt/bigdata/minio
export MINIO_ETCD_ENDPOINTS="http://192.168.182.110:2380,http://192.168.182.111:2380,http://192.168.182.112:2380"
mkdir -p /etc/minio
export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=admin123456
export MINIO_PUBLIC_IPS=192.168.182.110,192.168.182.111
./minio server --address 0.0.0.0:8000 --console-address 0.0.0.0:8001  --config-dir /etc/minio http://192.168.182.11{0...1}/opt/bigdata/minio/data/export{3...4}

cd /opt/bigdata/minio
export MINIO_ETCD_ENDPOINTS="http://192.168.182.110:2380,http://192.168.182.111:2380,http://192.168.182.112:2380"
mkdir -p /etc/minio
export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=admin123456
export MINIO_PUBLIC_IPS=192.168.182.112,192.168.182.113
./minio server --address 0.0.0.0:8000 --console-address 0.0.0.0:8001  --config-dir /etc/minio http://192.168.182.11{2...3}/opt/bigdata/minio/data/export{3...4}

# /etc/nginx/conf.d/minio2.conf
upstream minio_api2 {
    ip_hash;
    server 192.168.182.110:8000;
    server 192.168.182.111:8000;
    server 192.168.182.112:8000;
    server 192.168.182.113:8000;
}
upstream minio_console2 {
    ip_hash;
    server 192.168.182.110:8001;
    server 192.168.182.111:8001;
    server 192.168.182.112:8001;
    server 192.168.182.113:8001;
}
server{
    listen       18000;
    server_name  192.168.182.110;
    ignore_invalid_headers off;
    client_max_body_size 0;
    proxy_buffering off;
    location / {
        proxy_set_header   X-Forwarded-Proto $scheme;
        proxy_set_header   Host              $http_host;
        proxy_set_header   X-Real-IP         $remote_addr;
        proxy_connect_timeout 300;
        proxy_http_version 1.1;
        chunked_transfer_encoding off;
        proxy_ignore_client_abort on;
        proxy_pass http://minio_api2;
    }
}
server{
    listen       18001;
    server_name  192.168.182.110;
    ignore_invalid_headers off;
    client_max_body_size 0;
    proxy_buffering off;
    location / {
        proxy_set_header   X-Forwarded-Proto $scheme;
        proxy_set_header   Host              $http_host;
        proxy_set_header   X-Real-IP         $remote_addr;
        proxy_connect_timeout 300;
        proxy_http_version 1.1;
        chunked_transfer_encoding off;
        proxy_ignore_client_abort on;
        proxy_pass http://minio_console2;
    }
}

systemctl reload nginx

不同的客户端访问会显示不同的节点信息