tidb 安装文档

一、TiDB-Ansible 部署方案

  • centos7.3 以上
  • 中控机是用来控制整个 tidb 集群的

1. 中控机 - 安装系统依赖包

  1. # 在中控机上安装系统依赖包
  2. sudo yum -y install epel-release git curl sshpass
  3. sudo yum -y install python-pip

2. 中控机 - 创建 tidb 用户，并生成 ssh key

  1. # 配置免密, 所有主机
  2. sudo useradd -m -d /home/tidb tidb
  3. sudo usermod -a -G  wheel tidb
  5. # 修改密码
  6. sudo passwd tidb
  8. # 登录 tidb 账号
  9. sudo su tidb
  11. # 创建 tidb 用户 ssh key， 提示 Enter passphrase 时直接回车即可。执行成功后，ssh 私钥文件为
  12. ssh-keygen -t rsa

3. 中控机 - 下载 TiDB-Ansible 和安装依赖

  1. # 登录 tidb 用户
  2. sudo su tidb
  4. # 下载 2.1 版本
  5. git clone -b tag-v3.0.1-v1 https://gitee.com/techonline/tidb-ansible.git
  7. # 在中控机器上安装 Ansible 及其依赖
  8. cd ~/app/tidb-ansible
  9. sudo pip install -r ./requirements.txt
  11. # 验证
  12. ansible --version
  13.     ansible 2.7.11

4. 中控机 - 配置部署机器 ssh 互信及 sudo 规则

  1. # 在中控机上配置部署机器, 写入需要部署的 主机
  2. vi hosts.ini
  3. [servers]
  4. tidb-node1
  5. tidb-node2
  6. tidb-node3
  7. tidb-node4
  8. tidb-node5
  9. tidb-node6
  11. [all:vars]
  12. username = tidb
  13. ntp_server = pool.ntp.org
  16. # ssh 免密配置
  18. ## 方法 1. 手动方式, 见系统环境
  19. ssh-copy-id -i ~/.ssh/id_rsa.pub tidb-node1
  20. ssh-copy-id -i ~/.ssh/id_rsa.pub tidb-node2
  21. ssh-copy-id -i ~/.ssh/id_rsa.pub tidb-node3
  22. ......
  23. ssh-copy-id -i ~/.ssh/id_rsa.pub tidb-nodeN
  25. ## 方法 2. 登录 tidb 服务器手动创建
  26. vim ~/.ssh/authorized_keys
  27. # 写入
  28. ~/.ssh/id_rsa.pub
  29. # 修改权限
  30. chmod 600 ~/.ssh/authorized_keys
  32. ## 验证是否免密
  33. ssh tidb@[tidb-node1]

5. 中控机 - 在部署目标机安装 NTP 服务

  1. # 在中控机使用脚本在 目标机器上安装 NTP 服务
  2. cd ~/tidb-ansible
  3. ansible-playbook -i hosts.ini deploy_ntp.yml -u tidb -b
  5. # 检测 ntp 是否开启
  6. sudo systemctl status ntpd.service
  8. # 开机启动
  9. sudo systemctl enable ntpd.service
  11. # 服务器重启
  12. sudo systemctl restart ntpd.service
  15. sudo systemctl stop ntpd.service
  16. sudo ntpdate pool.ntp.org
  17. sudo systemctl start ntpd.service
  19. # 执行 ntpstat 命令，输出 synchronised to NTP server(正在与 NTP server 同步)表示在正常同步：
  20. ntpstat
  21. synchronised to NTP server (85.199.214.101) at stratum 2
  22.    time correct to within 91 ms
  23.    polling server every 1024 s
  25. # 如需要修改 ntp 配置
  26. /etc/ntp.conf

6. 中控机 - 在部署目标机配置 CPUfreq 调节器模式

  • 为了让 CPU 发挥最大性能，请将 CPUfreq 调节器模式设置为 performance 模式
  • 如果系统不支持则跳过此步骤
  1. # 1. 查看当前系统的 CPUfreq 调节器模式
  2. cpupower frequency-info --policy
  4. ## 返回结果： 表示未设置
  5. analyzing CPU 0:
  6.   Unable to determine current polic
  9. # 2. cpupower 命令查看系统支持的调节器模式
  10. cpupower frequency-info --governors
  12. ## 返回结果如： Not Available 表示当前系统不支持配置 CPUfreq，跳过此步骤
  13. analyzing CPU 0:
  14.   available cpufreq governors: Not Available
  16. ## 返回结果如： performance powersave，表示支持这两种模式
  17. analyzing CPU 0:
  18.   available cpufreq governors: performance powersave
  21. # 3. 设置 CPUfreq 调节器模式为 performance
  22. cpupower frequency-set --governor performance
  25. # 4. 若系统支持 performance 模式，则在中控机做批量设置
  26. ansible -i hosts.ini all -m shell -a "cpupower frequency-set --governor performance" -u tidb -b

7. 部署目标机 - 添加数据盘 ext4 文件系统挂载参数

8. 中控机 - 分配机器资源，编辑 inventory.ini 文件

  1. cd ~/app/tidb-ansible
  2. vim inventory.ini
  4. ## TiDB Cluster Part （这里必须写 ip 地址）
  5. # tidb_servers
  6. [tidb_servers]
  7. tidb-node1 ansible_host=172.16.20.81
  8. tidb-node2 ansible_host=172.16.20.82
  9. tidb-node3 ansible_host=172.16.20.83
  10. tidb-node4 ansible_host=172.16.20.97
  11. tidb-node5 ansible_host=172.16.20.98
  12. tidb-node6 ansible_host=172.16.20.99
  16. # tikv_servers
  17. [tikv_servers]
  18. ## 配置方法一： 单机单 TiKV 实例集群拓扑, 配置方法
  19. tidb-node1 ansible_host=172.16.20.81
  20. tidb-node2 ansible_host=172.16.20.82
  21. tidb-node3 ansible_host=172.16.20.83
  23. ### 配置方法二: 单机多 TiKV 实例集群拓扑
  24. # 详见(https://pingcap.com/docs-cn/v3.0/how-to/deploy/orchestrated/ansible/#%E5%8D%95%E6%9C%BA%E5%A4%9A-tikv-%E5%AE%9E%E4%BE%8B%E9%9B%86%E7%BE%A4%E6%8B%93%E6%89%91)
  25. # 调优(https://pingcap.com/docs-cn/v3.0/reference/performance/tune-tikv/)
  27. ## 第一步: 单节点 tikv 进程数量
  28. # 详见: raftstore 参数, 根据磁盘容量计算出, 一共需要多少个 tikv 数量
  29. # 根据配置, 定义单台服务器, tikv 的数量为 5 个.
  30. tidb-node1-1 ansible_host=172.16.20.81 deploy_dir=/opt/app/tidb/deploy1 tikv_port=20171 tikv_status_port=20181 labels="host=tikv1"
  31. tidb-node1-2 ansible_host=172.16.20.81 deploy_dir=/opt/app/tidb/deploy2 tikv_port=20172 tikv_status_port=20182 labels="host=tikv1"
  32. tidb-node1-3 ansible_host=172.16.20.81 deploy_dir=/opt/app/tidb/deploy3 tikv_port=20173 tikv_status_port=20183 labels="host=tikv1"
  34. tidb-node2-1 ansible_host=172.16.20.82 deploy_dir=/opt/app/tidb/deploy1 tikv_port=20171 tikv_status_port=20181 labels="host=tikv2"
  35. tidb-node2-2 ansible_host=172.16.20.82 deploy_dir=/opt/app/tidb/deploy2 tikv_port=20172 tikv_status_port=20182 labels="host=tikv2"
  36. tidb-node2-3 ansible_host=172.16.20.82 deploy_dir=/opt/app/tidb/deploy3 tikv_port=20173 tikv_status_port=20183 labels="host=tikv2"
  38. tidb-node3-1 ansible_host=172.16.20.83 deploy_dir=/opt/app/tidb/deploy1 tikv_port=20171 tikv_status_port=20181 labels="host=tikv3"
  39. tidb-node3-2 ansible_host=172.16.20.83 deploy_dir=/opt/app/tidb/deploy2 tikv_port=20172 tikv_status_port=20182 labels="host=tikv3"
  40. tidb-node3-3 ansible_host=172.16.20.83 deploy_dir=/opt/app/tidb/deploy3 tikv_port=20173 tikv_status_port=20183 labels="host=tikv3"
  43. ## 第二步: 配置内存和磁盘(修改 conf/tikv.yml 参数)
  44. # titan 存储引擎
  45. titan:
  46.   enabled: true
  47.   max-background-gc: 4
  49. storage:
  50.   ## RocksDB 使用 block cache 来缓存未压缩的数据块。较大的 block cache 可以加快读取速度。
  51.   # 推荐开启 `shared block cache` 参数。这样只需要设置全部缓存大小，使配置过程更加方便。
  52.   # 要在单个物理机上部署多个 TiKV 节点，需要显式配置该参数。否则，TiKV 中可能会出现 OOM 错误。
  53.   # 推荐设置：常情况下应设置为系统全部内存的 30%-50%。
  54.   block-cache:
  55.     shared: true
  56.     capacity: "50GB"
  58. readpool:
  59.   # 多实例情况下，需要修改 tidb-ansible/conf/tikv.yml 中 high-concurrency、normal-concurrency 和 low-concurrency 三个参数：
  60.   # 推荐设置：TiKV 实例数量 * 参数值 = CPU 核心数量 * 0.8
  61.   coprocessor:
  62.     # Notice: if CPU_NUM > 8, default thread pool size for coprocessors
  63.     # will be set to CPU_NUM * 0.8.
  64.     # high-concurrency: 8
  65.     # normal-concurrency: 8
  66.     # low-concurrency: 8
  68. raftstore:
  69.   # 每个 TiKV 实例, 占用磁盘大小。 当如果多个 TiKV 实例部署在同一块物理磁盘上，需要修改 capacity 参数
  70.   # 推荐配置：capacity = 磁盘总容量 / TiKV 实例数量, 如果没有设置，则使用磁盘容量。
  71.   # capacity: "2048GB"
  74. # pd_servers
  75. [pd_servers]
  76. tidb-node4 ansible_host=172.16.20.97
  77. tidb-node5 ansible_host=172.16.20.98
  78. tidb-node6 ansible_host=172.16.20.99
  80. ## Monitoring Part (prometheus)
  81. # node_exporter and blackbox_exporter servers( 抽取日志服务器 )
  82. [monitoring_servers]
  83. tidb-node1 ansible_host=172.16.20.81
  84. tidb-node2 ansible_host=172.16.20.82
  85. tidb-node3 ansible_host=172.16.20.83
  86. tidb-node4 ansible_host=172.16.20.97
  87. tidb-node5 ansible_host=172.16.20.98
  88. tidb-node6 ansible_host=172.16.20.99
  90. [grafana_servers]
  91. tidb-node5 ansible_host=172.16.20.98
  93. # prometheus and pushgateway servers
  94. [monitoring_servers]
  95. tidb-node5 ansible_host=172.16.20.98
  97. [alertmanager_servers]
  98. tidb-node5 ansible_host=172.16.20.98
  99. # 如果已经了则使用 alertmanager_host:alertmanager_port
  101. ## Group variables
  102. [pd_servers:vars]
  103. # location_labels = ["zone","rack","host"]
  104. location_labels = ["host"]
  107. # 1. 编辑部署配置文件
  108. vim inventory.ini
  110.   ## Global variables, 部署数据目录
  111.   [all:vars]
  112.   deploy_dir = /opt/app/tidb/deploy
  114.   ## ssh via normal user
  115.   ansible_user = tidb
  117.   ## 集群名称
  118.   cluster_name = tidb-cluster-1
  120.   ## 集群版本
  121.   tidb_version = v3.0.1
  124. # 2. 检测
  125. ## 检测 tidb 用户 ssh 互信配置是否成功
  126. ansible -i inventory.ini all -m shell -a 'whoami'
  128. ## 检测 tidb 用户 sudo 免密码配置成功
  129. ansible -i inventory.ini all -m shell -a 'whoami' -b
  132. # 3. 执行 local_prepare.yml playbook，联网下载 TiDB binary 到中控机
  133. ansible-playbook local_prepare.yml -f 10
  136. # 4. 初始化系统环境，修改内核参数
  137. ansible-playbook bootstrap.yml
  140. # 5. 部署 TiDB 集群软件
  141. ansible-playbook deploy.yml
  144. # 6. 启动 TiDB 集群
  145. ansible-playbook start.yml

tidb 错误处理

  2. 1. NTP 检测关闭
  3. 错误内容
  4.   TASK [check_system_dynamic : Preflight check - NTP service]
  6. 编辑配置
  7.   vim roles/check_system_dynamic/tasks/main.yml
  9. 如下注释
  10. #- name: Preflight check - Get NTP service status
  11. #  shell: ntpstat | grep -w synchronised | wc -l
  12. #  register: ntp_st
  13. #  changed_when: false
  15. #- name: Preflight check - NTP service
  16. #  fail:
  17. #    msg: "Make sure NTP service is running and ntpstat is synchronised to NTP server. See https://github.com/pingcap/docs/blob/master/op-guide/ansible-deployment.md#how-to-check-whether-the-ntp-service-is-normal ."
  18. #  when:
  19. #    - enable_ntpd
  20. #    - ntp_st.stdout|int != 1
  23. 2. swap 内存检测关闭
  24. 编辑配置
  25.   vim roles/check_system_dynamic/tasks/main.yml
  27. #- name: Preflight check - Check swap
  28. #  fail:
  29. #    msg: "Swap is on, for best performance, turn swap off"
  30. #  when: ansible_swaptotal_mb != 0
  33. 3. 如果是非 SSD 测试的话 ，最好将如下的内容注释掉 
  34. 编辑配置
  35.   vim bootstrap.yml
  37. 如下注释
  38. - name: tikv_servers machine benchmark
  39.   hosts: tikv_servers
  40.   gather_facts: false
  41.   roles:
  42. #    - { role: machine_benchmark, when: not dev_mode }