id: aws.md title: Deploy a Milvus Cluster on EC2 related_key: cluster

summary: Learn how to deploy a Milvus cluster on AWS EC2.

在 EC2 部署 Milvus 集群

本文介绍如何使用 Terraform 和 Ansible 在 Amazon EC2 上部署 Milvus 集群。

预置集群

介绍如何使用 Terraform 预置 Milvus 集群。Terraform 是一个基础架构即代码 (IaC) 软件工具。使用 Terraform ，你可以通过使用声明性配置文件来预置基础设施。

先决条件

准备配置

你可以在 Google 云端硬盘 下载模板配置文件。

  • main.tf 这个文件包含了用于预置 Milvus 集群的配置。

  • variables.tf 这个文件允许快速编辑用于设置或更新 Milvus 集群的变量。

  • output.tf 和 inventory.tmpl

    这些文件存储 Milvus 集群的元数据。本问中使用的元数据是每个节点实例的 public_ip，每个节点实例的 private_ip 和所有 EC2 实例 ID。

准备 variables.tf

本节描述 variables.tf 文件包含的配置。

  • 节点数量

    下面的模板声明一个 index_count 变量，用于设置索引节点的数量。

    index_count 的值必须大于等于1。
    1. variable "index_count" {
    2.   description = "Amount of index instances to run"
    3.   type        = number
    4.   default     = 5
    5. }

  • 节点类型的实例类型

    下面的模板声明了一个 index_ec2_type 变量，用于设置索引节点的实例类型。

    1. variable "index_ec2_type" {
    2.   description = "Which server type"
    3.   type        = string
    4.   default     = "c5.2xlarge"
    5. }

  • 访问权限

    下面的模板声明一个 key_name 变量和一个 my_ip 变量。key_name 变量表示 AWS 访问密钥。my_ip 变量表示安全组的 IP 地址范围。

    1. variable "key_name" {
    2.   description = "Which aws key to use for access into instances, needs to be uploaded already"
    3.   type        = string
    4.   default     = ""
    5. }
    7. variable "my_ip" {
    8.   description = "my_ip for security group. used so that ansible and terraform can ssh in"
    9.   type        = string
    10.   default     = "x.x.x.x/32"
    11. }

准备 main.tf

本节描述 main. txt 文件包含的配置。

  • 云提供商和区域

    下面的模板使用 us-east-2 区域。更多信息请参见可用区域。

    1. provider "aws" {
    2.   profile = "default"
    3.   region  = "us-east-2"
    4. }

  • 安全组

    下面的模板声明了一个安全组，该安全组允许来自 CIDR 地址范围的流量，该地址范围由在 variables.tf 中声明的 my_ip 表示。

    1. resource "aws_security_group" "cluster_sg" {
    2.   name        = "cluster_sg"
    3.   description = "Allows only me to access"
    4.   vpc_id      = aws_vpc.cluster_vpc.id
    6.   ingress {
    7.     description      = "All ports from my IP"
    8.     from_port        = 0
    9.     to_port          = 65535
    10.     protocol         = "tcp"
    11.     cidr_blocks      = [var.my_ip]
    12.   }
    14.   ingress {
    15.     description      = "Full subnet communication"
    16.     from_port        = 0
    17.     to_port          = 65535
    18.     protocol         = "all"
    19.     self             = true
    20.   }
    22.   egress {
    23.     from_port        = 0
    24.     to_port          = 0
    25.     protocol         = "-1"
    26.     cidr_blocks      = ["0.0.0.0/0"]
    27.     ipv6_cidr_blocks = ["::/0"]
    28.   }
    30.   tags = {
    31.     Name = "cluster_sg"
    32.   }
    33. }

  • 虚拟私有云

    下面的模板在 Milvus 集群中指定里 CIDR 块为10.0.0.0/24的虚拟私有云。

    1. resource "aws_vpc" "cluster_vpc" {
    2.   cidr_block = "10.0.0.0/24"
    3.   tags = {
    4.     Name = "cluster_vpc"
    5.   }
    6. }
    8. resource "aws_internet_gateway" "cluster_gateway" {
    9.   vpc_id = aws_vpc.cluster_vpc.id
    11.   tags = {
    12.     Name = "cluster_gateway"
    13.   }
    14. }

  • 子网 (可选)

    下面的模板声明了一个子网，其流量被路由到互联网网关。此时子网的 CIDR 块大小与虚拟私有云的 CIDR 块大小相同。

    1. resource "aws_subnet" "cluster_subnet" {
    2.   vpc_id                  = aws_vpc.cluster_vpc.id
    3.   cidr_block              = "10.0.0.0/24"
    4.   map_public_ip_on_launch = true
    6.   tags = {
    7.     Name = "cluster_subnet"
    8.   }
    9. }
    11. resource "aws_route_table" "cluster_subnet_gateway_route" {
    12.   vpc_id       = aws_vpc.cluster_vpc.id
    14.   route {
    15.     cidr_block = "0.0.0.0/0"
    16.     gateway_id = aws_internet_gateway.cluster_gateway.id
    17.   }
    19.   tags = {
    20.     Name = "cluster_subnet_gateway_route"
    21.   }
    22. }
    24. resource "aws_route_table_association" "cluster_subnet_add_gateway" {
    25.   subnet_id      = aws_subnet.cluster_subnet.id
    26.   route_table_id = aws_route_table.cluster_subnet_gateway_route.id
    27. }

  • 节点实例(节点)

    下面的模板声明一个 MinIO 节点实例。main.tf 模板文件声明了11个节点类型。对于某些节点类型，需要设置 root_block_device。有关更多信息，请参见 EBS、临时块设备和根块设备。

    1. resource "aws_instance" "minio_node" {
    2.   count         = var.minio_count
    3.   ami           = "ami-0d8d212151031f51c"
    4.   instance_type = var.minio_ec2_type
    5.   key_name      = var.key_name
    6.   subnet_id     = aws_subnet.cluster_subnet.id 
    7.   vpc_security_group_ids = [aws_security_group.cluster_sg.id]
    9.   root_block_device {
    10.     volume_type = "gp2"
    11.     volume_size = 1000
    12.   }
    14.   tags = {
    15.     Name = "minio-${count.index + 1}"
    16.   }
    17. }

应用配置

  1. 打开一个终端，导航到存储 main.tf 的文件夹。
  2. 运行 terraform init 命令初始化配置。
  3. 要应用配置，运行 terraform apply 并在提示时输入 yes。

你现在已经使用 Terraform 预置了 Milvus 集群。

启动集群

本节描述如何使用 Ansible 启动你预置完的 Milvus 集群。Ansible 是一个配置管理工具，用于自动化云配置和配置管理。

先决条件

准备配置

你可以在 Google 云端硬盘下载模板配置文件。

  • yaml_files 文件夹中的文件

这个文件夹存储每个节点类型的 Jinja2 文件。Ansible 使用了 Jinja2 模板。有关 Jinja2 的更多信息请参见介绍。

  • playbook.yaml

该文件在特定的节点集上执行一组任务。该模板首先在 Milvus 集群的所有节点实例上安装 Docker 和 Docker Compose。

Playbook 是按照从上到下的顺序运行的。在每个 Play 中，任务也从上到下依次运行。
  1.   - name: All Servers
  2.     hosts: etcd_ips_public:pulsar_ips_public:minio_ips_public:data_ips_public:index_ips_public:query_ips_public:proxy_ips_public:root_coordinator_ips_public:data_coordinator_ips_public:query_coordinator_ips_public:index_coordinator_ips_public
  3.     remote_user: ec2-user
  4.     become: true
  5.     tags:
  6.       - start
  7.     tasks:
  8.     - name: Install docker
  9.       ansible.builtin.yum:
  10.         name: docker
  11.         state: present
  12.     - name: Run docker
  13.       ansible.builtin.service:
  14.         name: docker
  15.         state: started
  17.     - name: Install or upgrade docker-compose
  18.       get_url: 
  19.         url : "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-Linux-x86_64"
  20.         dest: /usr/local/bin/docker-compose
  21.         mode: 'a+x'
  22.         force: yes
  23.     - name: Create symbolic link for docker-compose
  24.       file:
  25.         src: "/usr/local/bin/docker-compose"
  26.         dest: "/usr/bin/docker-compose"
  27.         state: link

在所有节点实例上安装 Docker 和 Docker Compose 后，playbook.yaml 按顺序启动所有节点实例的容器。

  1.   - name: etcd
  2.     hosts: etcd_ips_public
  3.     remote_user: ec2-user
  4.     become: true
  5.     tags:
  6.       - start
  8.     tasks:
  9.     - name: Copy etcd config
  10.       ansible.builtin.template:
  11.         src: ./yaml_files/etcd.j2
  12.         dest: /home/ec2-user/docker-compose.yml
  13.         owner: ec2-user
  14.         group: wheel
  15.         mode: '0644'
  17.     - name: Run etcd node
  18.       shell: docker-compose up -d
  19.       args:
  20.         chdir: /home/ec2-user/

应用配置

  1. 打开终端，导航到存放 playbook.yaml 的文件夹。
  2. 运行 ansible-playbook -i inventory playbook.yaml --tags "start"。
  3. 如果成功，将启动所有节点实例。

现在你已经使用 Ansible 启动了一个 Milvus 集群。

停止节点

当不再需要 Milvus 集群时，可以停止所有节点。

确保 terraform 二进制文件在你的 PATH 上可用。
  1. 运行 terraform destroy 并在提示时输入 yes。
  2. 如果成功，则停止所有节点实例。

更多内容

如果你想学习如何在其他云上部署 Milvus: