高可用性（避免单点故障）
负载均衡（充分利用服务器性能）
弹性伸缩（易于扩容和缩容） 监控预警（有问题早发现）

确立自己原则的“五步原则” 1、目标：我要什么？
2、计划：我该怎么做？
3、行动：我碰到了什么问题？
4、反思：什么原因？
5、改进：形成原则

一、Linux

1.1 Hello World

  1. echo 'hello world'
  2. echo 'hello shell'

1.2 常用命令组合

  1. find . -name '*.log' -mtime +7 -type f 
  3. find . -maxdepth 1 -name '*.old' -type d 
  4. find . -maxdepth 3 -name '*.old' -type d |xargs echo
  6. Now_Time=`(date +%Y%m%d%H%M%S)`
  7. NowStamp=`(date +%s)`
  9. sed  -i.bak  '/swap/s/^\(.*\)$/#\1/g' /etc/fstab
  10. ## (1.0.21.62.)(20200916114736) 分组替换
  11. sed -i "s/\(\([0-9]\{1,\}\.\)\{3,\}\)\([0-9]\{1,\}\)/\1${Now_Time}/g" /opt/www/index*.html
  12. sed ':a;N;$!ba;s/nz_shouq_accountdb/nz_shouq_main/2'  ## 末尾2表示只替换第二个
  13. ps -ef|grep redis|grep -v grep |awk -F: '{print $NF}'
  16. ## 打印第10列等于403的行
  17. awk '$10==403 {print $0}'   /opt/log/nginx/www.xxx.com.log
  18. awk '{a[$1]++}END{for(v in a)print v,a[v]}' access.log
  19. # https://www.cnblogs.com/linuxprobe/p/11387906.html
  22. ## grep -r 递归； -I 排除二进制文件； -n 行号； -H 文件名； --exclude 排除匹配文件； --exclude-dir 排除匹配目录
  23. grep -rInH --exclude=*.log --exclude-dir=py3*  '\/opt\/' *
  24. grep 'skill  Id : 999' error.log* -C10 | more
  25. egrep -v '(^$|^#)' /etc/ansible/ansible.cfg
  28. tcpdump -i eth0 -s 0 -l -w - -w aa.pcap
  31. netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
  32. netstat -anpo|more
  33. netstat -anpo|grep ESTABLISHED|awk '{$3!=0}{print $0}'
  34. netstat -anpo|grep ESTABLISHED|awk '$3!=0{print $0}'
  36. cat /proc/`pidof mysqld`/limits
  38. sudo du -s * | sort -nr | head      # 显示前10个占用空间最大的文件或目录
  39. sudo du --max-depth=1               # linux查找占空间最大的文件与目录  
  40. sudo find ./ -size -2048c -type f   # 查找小于2K的文件，- 表示小于
  42. ## 
  44. pidstat -u -p  pidnum 3  ## 某pid 3秒内CPU使用情况
  46. -u -r 内存  -d 磁盘
  48. iostat  -d  2 3
  50. ## ip 按照数字排序
  51. sort -t'.' -k1,1n -k2,2n -k3,3n -k4,4n ip.txt

1.3 系统安全和优化

  1. #!/bin/bash
  2. #
  3. ## 1 close selinux
  4. setenforce 0
  5. sed -i /SELINUX/s/enforcing/disabled/g /etc/selinux/config
  7. ## 2 close iptables firewalld
  8. systemctl stop iptables.service
  9. systemctl stop firewalld.service
  11. ## 3 中文支持
  12. cat  /etc/sysconfig/i18n
  13. echo  'LANG="zh_CN.UTF-8"'   > /etc/sysconfig/i18n
  14. echo  'LC_ALL="zh_CN.UTF-8"' >> /etc/sysconfig/i18n
  15. source  /etc/sysconfig/i18n
  17.  #######
  18. cat   /etc/locale.conf
  19. echo  'LANG="zh_CN.UTF-8"' > /etc/locale.conf
  20. source /etc/locale.conf
  22.  #### 设置timezone的时区
  23.  ##sudo timedatectl set-timezone 'Asia/Shanghai'
  24.  ## 或者
  25. echo "Asia/Shanghai" > /etc/timezone
  27. ## 4 设置时间
  28. rm -rf /etc/localtime
  29. ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
  31. ## 5 sync time
  32. ntpdate times.aliyun.com
  33. echo '# time sync to aliyun 2017-08-21' >> /var/spool/cron/root
  34. echo '*/5 * * * * /usr/sbin/ntpdate times.aliyun.com >/dev/null 2>&1' >>/var/spool/cron/root
  36. ## 6 base.repo epel.repo docker.repo
  37. yum install -y sysstat tree net-tools wget curl vim lrzsz zip unzip python-pip python-devel python36 python36-devel python36-pip bash-completion
  39. mkdir  /etc/yum.repos.d/default
  40. mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/default/
  42. curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
  43. wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
  45. yum install -y yum-utils device-mapper-persistent-data lvm2
  46. yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  48. ## 7 添加 www mysql (no home)
  49. useradd myadmin && echo 'yourpasswd123#@!' |passwd myadmin --stdin
  50. useradd www -M -s /sbin/nologin 
  51. useradd mysql -M -s /sbin/nologin
  53. ## 8 sshd 配置优化
  54. \cp /etc/ssh/sshd_config{,.bak}
  55. sed -i 's@#UseDNS yes@UseDNS no@g;s@^GSSAPIAuthentication yes@GSSAPIAuthentication no@g' /etc/ssh/sshd_config
  56. ### 禁用root远程，添加myadmin sudoers
  57. #sed -i 's@#PermitRootLogin yes@PermitRootLogin no@g' /etc/ssh/sshd_config
  58. #sed -i 's@#Port 22@Port 52222@g' /etc/ssh/sshd_config
  59. /etc/init.d/sshd reload
  61. ## 9 系统参数优化
  62. 　　#1. 计算 fdmax = 物理内存大小(m为单位) / 4 * 256  假设内存为8G,fdmax=524288
  63. 　　#2. 执行命令: echo fs.file-max=524288 >> /etc/sysctl.conf
  64. 　　#3. 执行命令: sysctl -p 
  65. 　　#4. 执行命令: echo  * soft nofile  524286 >> /etc/security/limits.conf
  66. 　　#5. 执行命令: echo  * hard nofile 524287 >> /etc/security/limits.conf
  67. echo fs.file-max=524288 >> /etc/sysctl.conf
  68. sysctl -p 
  70. echo  '* soft nofile  524286' >> /etc/security/limits.conf
  71. echo  '* hard nofile  524287' >> /etc/security/limits.conf
  73. # /etc/supervisord.conf
  74. # minfds=1048576
  76. cat >> /etc/sysctl.conf << EOF
  77. # https://www.cnblogs.com/kgdxpr/p/3342102.html
  79. # source configuration
  80. # /sbin/sysctl -p
  81. #######禁用ipv6#######
  82. # 禁用整个系统所有接口的IPv6
  83. net.ipv6.conf.all.disable_ipv6 = 1
  84. # 禁用某一个指定接口的IPv6(例如：eth0, lo)
  85. net.ipv6.conf.lo.disable_ipv6 = 1
  86. net.ipv6.conf.eth0.disable_ipv6 = 1
  88. #######################
  89. net.ipv4.tcp_syncookies = 1
  90. net.ipv4.tcp_tw_reuse = 1
  91. net.ipv4.tcp_tw_recycle = 1
  92. net.ipv4.ip_local_port_range = 1024 65000
  93. net.ipv4.tcp_max_syn_backlog = 8192
  94. net.ipv4.tcp_max_tw_buckets = 5000
  95. net.ipv4.tcp_max_syn_backlog = 65536
  96. net.core.netdev_max_backlog =  32768
  97. net.core.somaxconn = 32768
  98. net.core.wmem_default = 8388608
  99. net.core.rmem_default = 8388608
  100. net.core.rmem_max = 16777216
  101. net.core.wmem_max = 16777216
  102. net.ipv4.tcp_timestamps = 0
  103. net.ipv4.tcp_synack_retries = 2
  104. net.ipv4.tcp_syn_retries = 2
  105. net.ipv4.tcp_mem = 94500000 915000000 927000000
  106. net.ipv4.tcp_max_orphans = 3276800
  108. kernel.sysrq = 0
  109. kernel.core_uses_pid = 1
  110. kernel.msgmnb = 65536
  111. kernel.msgmax = 65536
  112. kernel.shmmax = 68719476736
  113. kernel.shmall = 4294967296
  114. vm.swappiness=10
  115. EOF
  117. sysctl -p 
  119. ## 10 安全问题  把暴力登录的ip 追加到/etc/hosts.deny
  120. cat >/bin/ssh_scan.sh <<EOF
  121. #! /bin/bash
  122. cat /var/log/secure|awk '/Failed/{print $(NF-3)}'|sort|uniq -c|awk '{print $2"="$1;}' > /tmp/black.txt
  123. DEFINE="10"
  124. for i in `cat  /tmp/black.txt`
  125. do
  126.     IP=`echo $i |awk -F= '{print $1}'`
  127.     NUM=`echo $i|awk -F= '{print $2}'`
  128.     if [ $NUM -gt $DEFINE ];then
  129.          grep $IP /etc/hosts.deny > /dev/null
  130.          if [ $? -gt 0 ];then
  131.             echo "sshd:$IP" >> /etc/hosts.deny
  132.          fi
  133.     fi
  134. done
  135. EOF
  136. ## 加入定时任务
  137. echo '####SSH_Failed_Access_Scan####' >>/etc/crontab
  138. echo '*/1 * * * * root sh /bin/ssh_scan.sh' >> /etc/crontab
  140. ## 11 重要文件加锁，禁止修改如 /etc/passwd /etc/shadow /etc/sudoers /root/.ssh/authorized_keys
  141. chattr +i  /etc/passwd /etc/group /etc/shadow /etc/sudoers /root/.ssh/authorized_keys
  142. # lsattr 
  143. # chattr -i file
  144. # chattr -R +i dir
  146. ## 12 预留端口需要吗？
  147. echo "39003-39004"  > /proc/sys/net/ipv4/ip_local_reserved_ports

1.3.1 防火墙iptables

  1. cat >/bin/iptables.sh <<EOF
  2. #!/bin/bash
  3. iptables -F
  4. iptables -t nat -F
  6. #### Below are the basal iptables config, normally need not be modified #######
  7. iptables -A INPUT -s 127.0.0.1 -d 127.0.0.1 -j ACCEPT
  8. iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
  9. iptables -A INPUT -p icmp --icmp-type echo-reply -j ACCEPT
  10. iptables -A INPUT -p icmp --icmp-type echo-request -j ACCEPT
  11. iptables -A INPUT -p udp --source-port 53 -j ACCEPT
  12. iptables -A INPUT -p tcp --dport 62222 -j ACCEPT
  13. iptables -A INPUT -p tcp --dport 22 -j ACCEPT
  15. ##### Below are the Appalication related iptables config #######
  16. iptables -A INPUT -s 10.0.5.0/24 -j ACCEPT
  18. iptables -A INPUT -p tcp --dport 80 -j ACCEPT
  19. iptables -A INPUT -p tcp --dport 443 -j ACCEPT
  21. iptables -A INPUT -j DROP
  22. iptables -A FORWARD -j DROP
  23. EOF
  25. systemctl enable iptables.service
  26. systemctl restart iptables.service
  27. sh  /bin/iptables.sh
  29. echo 'sh /bin/iptables.sh' >> /etc/rc.local
  32. ####
  33. ## iptables防火墙
  35. iptables最常用的规则示例
  36. https://www.cnblogs.com/EasonJim/p/8339162.html
  38. ### 1、删除已有规则
  39. iptables -F
  40. iptables –flush
  42. ### 2、设置链的默认策略
  43. iptables -P INPUT DROP
  44. iptables -P FORWARD DROP
  45. ##### iptables -P OUTPUT DROP ## 一般不对出站的数据包做限制
  48. ### 3、丢弃来自IP地址x.x.x.x的包
  49. iptables -A INPUT -s x.x.x.x -j DROP
  51. #### 3.1、阻止来自IP地址x.x.x.x eth0 tcp的包
  52. iptables -A INPUT -i eth0 -s x.x.x.x -j DROP
  53. iptables -A INPUT -i eth0 -p tcp -s x.x.x.x -j DROP
  55. ### 4、允许所有来自外部的SSH连接请求，即只允许进入eth0接口，并且目标端口为22的数据包
  56. iptables -A INPUT -i eth0 -p tcp --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
  57. iptables -A OUTPUT -o eth0 -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT
  59. ### 5、仅允许来自于192.168.100.0/24域的用户的ssh连接请求
  60. iptables -A INPUT -i eth0 -p tcp -s 192.168.100.0/24 --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
  61. iptables -A OUTPUT -o eth0 -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT
  63. ### 6、允许所有来自web - http的连接请求
  64. iptables -A INPUT -i eth0 -p tcp --dport 80 -m state --state NEW,ESTABLISHED -j ACCEPT
  65. iptables -A OUTPUT -o eth0 -p tcp --sport 80 -m state --state ESTABLISHED -j ACCEPT
  67. iptables -A INPUT -i eth0 -p tcp --dport 443 -m state --state NEW,ESTABLISHED -j ACCEPT
  68. iptables -A OUTPUT -o eth0 -p tcp --sport 443 -m state --state ESTABLISHED -j ACCEPT
  70. ### 7、使用multiport 将多个规则结合在一起（允许所有ssh,http,https的流量访问）
  71. iptables -A INPUT -i eth0 -p tcp -m multiport --dports 22,80,443 -m state --state NEW,ESTABLISHED -j ACCEPT
  72. iptables -A OUTPUT -o eth0 -p tcp -m multiport --sports 22,80,443 -m state --state ESTABLISHED -j ACCEPT
  74. ### 8、负载平衡传入的网络流量
  75. iptables -A PREROUTING -i eth0 -p tcp --dport 443 -m state --state NEW -m nth --counter 0 --every 3 --packet 0 -j DNAT --to-destination 192.168.1.101:443
  76. iptables -A PREROUTING -i eth0 -p tcp --dport 443 -m state --state NEW -m nth --counter 0 --every 3 --packet 1 -j DNAT --to-destination 192.168.1.102:443
  77. iptables -A PREROUTING -i eth0 -p tcp --dport 443 -m state --state NEW -m nth --counter 0 --every 3 --packet 2 -j DNAT --to-destination 192.168.1.103:443
  80. ### 9、允许外部主机ping内部主机
  81. iptables -A INPUT -p icmp --icmp-type echo-request -j ACCEPT
  82. iptables -A OUTPUT -p icmp --icmp-type echo-reply -j ACCEPT
  84. ### 10、允许来自网络192.168.101.0/24的rsync连接请求
  85. iptables -A INPUT -i eth0 -p tcp -s 192.168.101.0/24 --dport 873 -m state --state NEW,ESTABLISHED -j ACCEPT
  86. iptables -A OUTPUT -o eth0 -p tcp --sport 873 -m state --state ESTABLISHED -j ACCEPT
  88. ### 11、MySQL数据库与web服务跑在同一台服务器上。有时候我们仅希望DBA和开发人员从内部网络（192.168.100.0/24）直接登录数据库，可尝试以下命令：
  89. iptables -A INPUT -i eth0 -p tcp -s 192.168.100.0/24 --dport 3306 -m state --state NEW,ESTABLISHED -j ACCEPT
  90. iptables -A OUTPUT -o eth0 -p tcp --sport 3306 -m state --state ESTABLISHED -j ACCEPT
  92. ### 12、将来自422端口的流量全部转到22端口。  这意味着我们既能通过422端口又能通过22端口进行ssh连接。启用DNAT转发。
  94. ##### 系统开启转发功能
  95. echo 1 > /proc/sys/net/ipv4/ip_forward
  96. iptables -t nat -A PREROUTING -p tcp -d 192.168.102.37 --dport 422 -j DNAT --to 192.168.102.37:22
  98. #####除此之外，还需要允许连接到422端口的请求 
  99. iptables -A INPUT -i eth0 -p tcp --dport 422 -m state --state NEW,ESTABLISHED -j ACCEPT
  100. iptables -A OUTPUT -o eth0 -p tcp --sport 422 -m state --state ESTABLISHED -j ACCEPT
  104. iptables 四表五链
  105. https://www.cnblogs.com/zhujingzhi/p/9706664.html

1.3.2 防火墙firewired

  1. firewall-cmd --list-all
  2. firewall-cmd --add-ports=9000/tcp --permernent
  3. firewall-cmd --reload

1.3.3 cc 和ddos

  1. #!/bin/bash
  2. #
  3. # date: 2018-04-12
  4. # author: channel
  5. #
  6. if [[ -z $1 ]]; then
  7.     num=50
  8. else
  9.     num=$1
  10. fi
  12. # cd where is the shell
  13. cd $(cd $(dirname $BASH_SOURCE) && pwd)
  15. function check(){
  17.     iplist=`netstat -an |grep ^tcp.*.80|egrep -v 'LISTEN|127.0.0.1'|awk -F "[ ]+|[:]" '{print $4}'`
  18.     if [[ ! -z $iplist ]];
  19.     then
  20.         > ./iplist/black_ip.txt
  21.         for black_ip in $iplist
  22.         do
  23.             # exclude_ip=`echo $black_ip |awk -F "." '{print "$1"."$2"."$3"}'`
  24.             # grep -q $excude_ip ./white_ip.txt
  25.             grep -q $black_ip ./white_ip.txt
  26.             if [[ $? -eq 0 ]]; then
  27.                 echo "$black_ip (white_ip)" >>./black_ip.txt
  28.             else
  29.                 echo $black_ip >> ./black_ip.txt
  30.                 iptables -nL |grep $black_ip || (iptables -I INPUT -s £$black_ip -j DROP & echo "$black_ip exist" )
  31.             fi
  32.         done
  33.         if [[ `cat ./sendmail` == 1 ]];then sendmsg;fi
  34.     fi
  36. }
  38. function sendmsg(){
  40.     netstat -nutlp |grep "sendmail" >/dev/null 2>&1 || /etc/init.d/sendmail start >/dev/null ;
  41.     echo -e "From: 1006793841@qq.com\nTo:22222222222@qq.com\nSubject:Someone Attacking you system"
  42.     cat ./black_ip.txt >>./message
  43.     /usr/sbin/sendmail -f sendaddr@qq.com -t recieve_add@qq.com -i <./message
  44.     >./sendmail
  46. }
  49. while true
  50. do
  51.     check
  52.     sleep 10
  53. done
  1. #!/bin/bash
  2. #
  3. # date: 2018-4-11
  4. # author: channel
  5. #
  6. FilePath="access.log"
  7. awk '{print $1}' $FilePath |sort -rn |uniq -c >ip_count.log
  8. cat ip_count.log |while read text
  9. do
  10.     echo $text
  11.     count= echo $text |awk '{print $1}'
  12.     ip= echo $test |awk '{print $2}'
  13.     if [ $count -gt 20 ]
  14.     then
  15.         if iptables -L |grep $ip
  16.         then
  17.             echo "ip address exists iptables, no add again"
  18.         else
  19.             echo "add $ip address in iptables"
  20.             iptables -A INPUT -s $ip -j DROP && echo $ip >> ip_drop.log
  21.             /etc/init.d/iptables save &> /dev/null
  22.             /etc/init.d/iptables restart &>/dev/null
  23.         fi
  24.     else
  25.         echo "no ip will be add iptables"
  26.     fi
  27. done
  29. # remember to create a crontab task for this shell

二、Nginx

2.22 配置

  2. ####### 负载均衡配置：
  3. upstream myapp {
  4.     server 192.168.0.111:8080; # 应用服务器1
  5.     server 192.168.0.112:8080; # 应用服务器2
  6. }
  7. server {
  8.     listen 80;
  9.     location / {
  10.         proxy_pass http://myweb;
  11.     }
  12. }
  14. ###### 反向代理
  15. server {
  16.     listen 80;
  17.     location / {
  18.         proxy_pass http://192.168.0.112:8080; # 应用服务器HTTP地址
  19.     }
  20. }
  22. ###### 虚拟主机
  23. server {
  24.     listen 80 default_server;
  25.     server_name _;
  26.     return 444; # 过滤其他域名的请求，返回444状态码
  27. }
  28. server {
  29.     listen 80;
  30.     server_name www.aaa.com; # www.aaa.com域名
  31.     location / {
  32.         proxy_pass http://localhost:8080; # 对应端口号8080
  33.     }
  34. }
  35. server {
  36.     listen 80;
  37.     server_name www.bbb.com; # www.bbb.com域名
  38.     location / {
  39.         proxy_pass http://localhost:8081; # 对应端口号8081
  40.     }
  41. }
  43. ##### 另外，server_name配置还可以过滤有人恶意将某些域名指向你的主机服务器。
  45. #### FastCGI
  46. #### Nginx本身不支持PHP等语言，但是它可以通过FastCGI来将请求扔给某些语言或框架处理（例如PHP、Python、Perl）。
  47. server {
  48.     listen 80;
  49.     location ~ \.php$ {
  50.         include fastcgi_params;
  51.         fastcgi_param SCRIPT_FILENAME /PHP文件路径$fastcgi_script_name; # PHP文件路径
  52.         fastcgi_pass 127.0.0.1:9000; # PHP-FPM地址和端口号
  53.         # 另一种方式：fastcgi_pass unix:/var/run/php5-fpm.sock;
  54.     }
  55. }
  57. ## rewirte
  58. server {
  59.         listen 80;
  60.         server_name monitor.xxxx.com;
  61.         rewrite ^(.*)$ https://${server_name}$1 permanent;
  62. }
  64. server {
  65.         server_name monitor.xxxx.com ;
  66.         listen 443 ssl;
  67.         ssl_certificate  /usr/local/nginx/conf/888__xxxx.com.pem;
  68.         ssl_certificate_key  /usr/local/nginx/conf/888__xxxx.com.key;
  69.         index  index.html index.htm;
  70.         root  /opt/www/xxxx_web/dist;
  72.         location ~ .*\.(jpg|png|jpeg)$ {
  73.             expires      30d;
  74.         }
  76.         location / {
  77.             try_files $uri $uri/ /index.html;
  78.             expires      7d;
  79.         }
  81.         access_log  /opt/log/nginx/monitor.xxxx.com.log;
  82. }
  84. ## 防盗链 在nginx的conf中配置
  85. location ~.*\.(gif|jpg|png|flv|swf|rar|zip)$
  86. {
  87.     valid_referers none blocked zi.com *.zi.com;
  88.     if($invalid_referer)
  89.     {
  90.         #return 403;
  91.         rewrite ^/ http://www.zi.com/403.jpg;
  92.     }    
  93. }

2.3 vhost

2.4 动态负载均衡

2.5 http 登录验证

  1. # https://www.cnblogs.com/clsn/p/9950892.html
  2. [root@clsn nginx]# yum install httpd-tools -y
  3. [root@clsn nginx]# htpasswd  -c /usr/local/awstats/wwwroot/nmtui.passwd nmtui
  4. New password:
  5. Re-type new password:
  6. Adding password for user nmtui
  7. [root@clsn nginx]# chown www.www  /usr/local/awstats/wwwroot/nmtui.passwd
  8. [root@clsn nginx]# chmod 600  /usr/local/awstats/wwwroot/nmtui.passwd
  10. [root@clsn nginx]# vim  awstats.nmtui.com.conf
  11. server
  12. {
  13.     listen 80;
  14.     server_name awstats.nmtui.com;
  15.     index awstats.nmtui.com.html;
  16.     root /www/wwwroot/awstats/;
  17.     auth_basic "clsn training";
  18.     auth_basic_user_file /usr/local/awstats/wwwroot/nmtui.passwd;
  19.     access_log  /www/wwwlogs/301-clsn.io.log;
  20.     error_log  /www/wwwlogs/301-clsn.io-error.log;
  21. }
  22. [root@clsn nginx]# /etc/init.d/nginx  reload

2.9 nginx 调优

  1. Nginx调优
  2. https://www.cnblogs.com/zhichaoma/p/7989655.html
  3.     1.隐藏 Nginx 版本号
  4.     2.隐藏 Nginx 版本号和软件名
  5.     3.更改 Nginx 服务的默认用户
  6.     4.优化 Nginx worker 进程数
  7.     5.绑定 Nginx 进程到不同的 CPU 上
  8.     6.优化 Nginx 处理事件模型
  9.     7.优化 Nginx 单个进程允许的最大连接数
  10.     8.优化 Nginx worker 进程最大打开文件数
  11.     9.优化服务器域名的散列表大小
  12.     10.开启高效文件传输模式
  13.     11.优化 Nginx 连接超时时间
  14.     12.限制上传文件的大小
  15.     13.FastCGI 相关参数调优
  16.     14.配置 Nginx gzip 压缩
  17.     15.配置 Nginx expires 缓存
  18.     16.优化 Nginx日志(日志切割)
  19.     17.优化 Nginx 站点目录
  20.     18.配置 Nginx 防盗链
  21.     19.配置 Nginx 错误页面优雅显示
  22.     20.优化 Nginx 文件权限
  23.     21.Nginx 防爬虫优化
  24.     22.控制 Nginx 并发连接数
  25.     23.集群代理优化
  27. Nginx 性能调优
  28. https://www.jianshu.com/p/024b33d1a1a1

三、MySQL

3.1 基础操作命令

3.1.1 添加索引

  1. ## 1.添加PRIMARY KEY（主键索引） 
  2. mysql>ALTER TABLE `table_name` ADD PRIMARY KEY ( `column` ) 
  3. ## 2.添加UNIQUE(唯一索引) 
  4. mysql>ALTER TABLE `table_name` ADD UNIQUE ( `column` ) 
  5. ## 3.添加INDEX(普通索引) 
  6. mysql>ALTER TABLE `table_name` ADD INDEX index_name ( `column` ) 
  7. ## 4.添加FULLTEXT(全文索引) 
  8. mysql>ALTER TABLE `table_name` ADD FULLTEXT ( `column` ) 
  9. ## 5.添加多列索引 
  10. mysql>ALTER TABLE `table_name` ADD INDEX index_name ( `column1`, `column2`, `column3` )

3.1.2 复制表到新表

  1. 方法一：
  2. 拷贝表1的全部数据到表2
  3. INSERT INTO table2 SELECT * FROM table1 
  5. 拷贝第n条
  6. INSERT INTO table2 SELECT * FROM table1  WHERE id=5
  8. 拷贝指定字段
  9. INSERT INTO table2 ( name , price ) SELECT name , price  FROM table1  WHERE id=5
  11. 方法二：
  12. 创建表3， 同时拷贝表1的数据和结构到表3
  13. CREATE TABLE table3 SELECT * FROM table
  15. 方法三：
  16. 创建表4，只拷贝表1的结构到表4，不拷贝数据
  17. CREATE TABLE table4 LIKE table
  19. 版权声明：本文为CSDN博主「一筐大白菜啊」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
  20. 原文链接：https://blog.csdn.net/sphinx1122/article/details/84402854

3.1.3 部分配置文件参考

  1. [client]
  2. default-character-set=utf8
  4. [mysql]
  5. default-character-set=utf8
  7. [mysqld]
  8. init_connect='SET collation_connection = utf8_unicode_ci'
  9. init_connect='SET NAMES utf8'
  10. character-set-server=utf8
  11. collation-server=utf8_unicode_ci
  12. skip-character-set-client-handshake
  14. #skip-grant-tables
  15. ### MySQL5.6
  16. #UPDATE mysql.user SET Password = password('123456') WHERE User = 'root' ; 
  17. ### MySQL5.7
  18. #update mysql.user set authentication_string=password('123qwe') where user='root' and Host = 'localhost';
  20. ————————————————
  21. 版权声明：本文为CSDN博主「o尐猫o」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
  22. 原文链接：https://blog.csdn.net/dy_miao/article/details/91461581

3.2 备份和还原

3.2.1 mysqldump 备份

  1. https://www.cnblogs.com/chenmh/p/5300370.html
  3. ## 1.该命令会导出包括系统数据库在内的所有数据库
  4. mysqldump -uroot -proot --all-databases >/tmp/all.sql
  6. ## 2.导出db1、db2两个数据库的所有数据
  7. mysqldump -uroot -proot --databases db1 db2 >/tmp/user.sql
  9. ## 3.导出db1中的a1、a2表
  10. mysqldump -uroot -proot --databases db1 --tables a1 a2  >/tmp/db1.sql
  12. ## 4.条件导出，导出db1表a1中id=1的数据
  13. mysqldump -uroot -proot --databases db1 --tables a1    --where='id=1'  >/tmp/a1.sql
  15. ## 5.字段是字符串,并且导出的sql中不包含drop table,create table
  16. mysqldump -uroot -proot --no-create-info --databases db1 --tables a1 --where="id='a'"  >/tmp/a1.sql
  18. ## 6.只导出表结构不导出数据，--no-data
  19. mysqldump -uroot -proot --no-data --databases db1 >/tmp/db1.sql
  21. ### 
  22. PATH="/application/mysql/bin:$PATH"
  23. DBPATH=/server/backup
  24. MY_USER=root
  25. MY_PASS=old123
  26. SOCKET=/data/3306/mysql.sock
  27. MY_CMD="mysql -u$MY_USER -p$MY_PASS -S $SOCKET"
  28. MY_DUMP="mysqldump -u$MY_USER -p$MY_PASS -S$SOCKET"
  30. [ ! -d "$DBPATH" ] && mkdir -p $DBPATH
  32. for dbname in `$MYCMD -e "show databases;" |sed '1,2d' |egrep -v "mysql|schema"`
  33. do
  34.     $MYDUMP $dbname |gzip > $DBPATH/${dbname}_$(date +%F).sql.gz
  35. done

3.2.2 mysql 还原

3.2.3 mysqlbinlog 解析binlog

  1. #https://www.cnblogs.com/michael9/p/11923483.html
  3. mysqlbinlog -v -v --base64-output=DECODE-ROWS --set-charset=UTF-8  --start-position=309610 --stop-position=328251 mysql-bin.000002 > recover.sql
  4. mysqlbinlog -v -v --base64-output=DECODE-ROWS --set-charset=UTF-8  mysql-bin.000001

3.2.4 binlog2sql 回滚SQL

  1. https://github.com/danfengcao/binlog2sql
  3. [mysqld]
  4. server_id = 1
  5. log_bin = /var/log/mysql/mysql-bin.log
  6. max_binlog_size = 1G
  7. binlog_format = row
  8. binlog_row_image = full
  10. ######
  11. ## 解析标准SQL
  12. python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -t test3 test4 --start-file='mysql-bin.000002'
  14. ## 解析回滚SQL -B, --flashback
  15. python binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -ttest3 --start-file='mysql-bin.000002' --start-position=763 --stop-position=1147 -B

3.2.5 xtrabackup

  1. # this is a example about xtrabackup
  2. #
  3. # coding:utf8
  4. # 步骤
  5. # 全量备份 -> 增量1 -> 增量2 -> 
  7. # 全量备份00，假设全量文件是/backup_file/00
  8. innobackupex --user=root --password='123123' /backup_file/
  10. # 增量1, 文件是/backup_file/11
  11. innobackupex --incremental /backup_file --incremental-basedir=/backup_file/00
  13. # 增量2, 文件是/backup_file/22
  14. innobackupex --incremental /backup_file --incremental-basedir=/backup_file/11
  16. ##################
  17. # 整合# 
  18. # 准备全量00
  19. innobackupex --apply-log --redo-only /backup_file/00
  21. # 准备11
  22. innobackupex --apply-log --redo-only /backup_file/00/ --incremental-dir=/backup_file/11
  24. # 准备22
  25. innobackupex --apply-log --redo-only /backup_file/00/ --incremental-dir=/backup_file/22
  27. #################
  28. #
  29. # 恢复数据
  30. innobackupex --copy-back /backup_file/00
  32. # 修改属主、属组
  33. chown -R mysql.mysql /usr/local/mysql/data
  35. # 启动mysql
  36. /etc/init.d/mysqld start
  38. #### 5，恢复binlog中的部分文件
  40. mysqlbinlog mysql-bin.000002 >/tmp/abc.sql
  41. #
  42. # 暂时关闭binlog记录
  43. mysql> set sql_log_bin=0;
  44. mysql> source /tmp/abc.sql;
  45. #
  46. # 恢复完成，打开binlog记录
  47. mysql> set sql_log_bin=1

3.3 主从复制

3.3.0 主从复制方式

  1. ##

3.3.1 传统binlog

  1. ##

3.3.2 基于GTID（建议使用mysql-5.6.5以上版本）

  1. MySQL GTID 主从复制的原理及配置 https://blog.51cto.com/yangshufan/2136862
  3. 四、GTID的工作原理
  4. 1、当一个事务在主库端执行并提交时，产生GTID，一同记录到binlog日志中。
  6. 2、binlog传输到slave,并存储到slave的relaylog后，读取这个GTID的这个值设置gtid_next变量，即告诉Slave，下一个要执行的GTID值。
  8. 3、sql线程从relay log中获取GTID，然后对比slave端的binlog是否有该GTID。
  10. 4、如果有记录，说明该GTID的事务已经执行，slave会忽略。
  12. 5、如果没有记录，slave就会执行该GTID事务，并记录该GTID到自身的binlog，   在读取执行事务前会先检查其他session持有该GTID，确保不被重复执行。
  14. 6、在解析过程中会判断是否有主键，如果没有就用二级索引，如果没有就用全部扫描。

3.9 MySQL参数调优

  1. https://www.cnblogs.com/zhichaoma/p/7992525.html
  3.  连接相关参数
  5.  文件相关参数
  7.  缓存相关参数 
  9.  MyISAM参数
  11.  InnoDB参数

四、Django

4.0 py虚拟环境（virtualenv的使用）

  1. ## centos7安装
  2. yum  install –y make gcc-c++ python36-devel python36-pip libxml2-devel libxslt-devel
  4. pip3 install virtualenv virtualenvwrapper
  6. export WORKON_HOME=$HOME/.virtualenvs
  7. export PROJECT_HOME=$HOME/workspace
  8. source /usr/local/bin/virtualenvwrapper.sh
  10. #使用方法：
  11. mkvirtualenv zqxt #创建运行环境zqxt
  13. workon zqxt   #工作在 zqxt 环境
  15. mkproject -p /usr/bin/python3 py3-pyspider  #创建mic项目和运行环境mic
  17. ## 拓展：
  18. rmvirtualenv ENV #删除运行环境ENV
  19. mkproject mic  #创建mic项目和运行环境mic
  20. mkproject -p /usr/bin/python3 py3-pyspider  #创建mic项目和运行环境mic
  22. mktmpenv   #创建临时运行环境
  23. lsvirtualenv  #列出可用的运行环境
  24. lssitepackages  #列出当前环境安装了的包
  26. ## 创建的环境是独立的，互不干扰，无需sudo权限即可使用 pip 来进行包的管理。
  27. pip install --ignore-installed pycurl

4.1 Django路由

4.1.1 Django哈哈

  1. python manage.py startapp test
  2. python manage.py makemigrations
  3. python manage.py migrate
  4. python manage createsuperuser
  6. 2.0后urls文件内的path好像不支持正则了 
  8. 需要用正则匹配的 需要
  10. from django.urls import re_path
  12. urlpatterns = [
  13.     re_path('index-(?P<nid>\d)-(?P<uid>\d)', views.index)
  14. }
  15. ————————————————
  16. 版权声明：本文为CSDN博主「Reisen稻叶」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
  17. 原文链接：https://blog.csdn.net/u011410397/java/article/details/81780495
  19. be determined to have a great day, and you will

五、saltstack

5.1 使用入门

  1. cat /etc/salt/master | grep -v '#' | grep -v -e '^$'
  3. /etc/init.d/salt-master restart
  5. salt -L 'HD-HZ-H5PLAT-WEB05' state.sls sysinit
  7. salt -v 'HD-HZ-H5PLAT-WEB05' state.highstate -l debug -t 300
  9. salt-run jobs.lookup_jid 20190426130418644064
  11. https://docs.saltstack.com/en/latest/ref/runners/all/salt.runners.jobs.html
  12. http://dearweb.xin/2017/10/24/salt-file-backup/
  13. #################################
  14. salt -d  ##查看帮助文档
  15. salt -d|grep service  ##查看service相关模块命令
  16. salt '*' sys.doc  ##查看帮助文档
  17. salt-key  -L            #查询所有接收到的证书
  18. salt-key  -a <证书名>   #接收单个证书
  19. salt-key  -A            #接受所有证书
  20. salt-key  -d <证书名>   #删除单个证书
  21. salt-key  -D            #删除所有证书
  23. ## service
  24. salt '*' service.get_all  ##获取主机所有服务
  25. salt '*' service.reload sshd  ##重载sshd服务
  26. salt 'node1.com' service.status mysql  ##查看mysql服务状态
  27. salt 'node1.com' service.start mysql  ##启动mysql服务
  28. salt 'node1.com' cmd.run 'service mysql status'  ##与上面一样查看服务
  29. salt '*' sys.list_modules  ##模块列表
  30. salt-cp '*'  /etc/hosts   /etc/hosts  ##把master上的hosts文件分发到所有主机
  31. salt '*' cp.get_file salt://ceshi/b /tmp/test  ##把salt-master端相应的文件，分发文件到minion端
  32. salt '*' cp.get_dir salt://zabbix /tmp  ##把salt-master端相应的目录，分发文件到minion端
  33. salt '*' file.copy /tmp/zabbix.sls /tmp/sls  ##把salt-master端对应文件拷贝到minion端相应目录下
  35. ## pkg
  36. salt '*' pkg.list_pkgs   ##显示软件包版本列表
  37. salt '*' pkg.version python  ##显示软件包版本信息
  38. salt '*' pkg.install httpd  ##安装软件包
  40. 'cmd.script:'
  41.         salt '*' cmd.script salt://scripts/runme.sh
  42.         salt '*' cmd.script salt://scripts/runme.sh 'arg1 arg2 "arg 3"'
  43.         salt '*' cmd.script salt://scripts/windows_task.ps1 args=' -Input c:\tmp\infile.txt' shell='powershell'
  44.         salt '*' cmd.script salt://scripts/runme.sh stdin='one\ntwo\nthree\nfour\nfive\n'
  45. 'cmd.shell:'
  46.         This passes the cmd argument directly to the shell
  47.         salt '*' cmd.shell "ls -l | awk '/foo/{print \$2}'"
  48.         salt '*' cmd.shell template=jinja "ls -l /tmp/`grains`.`id` | awk '/foo/{print \$2}'"
  49.         salt '*' cmd.shell "Get-ChildItem C:\ " shell='powershell'
  50.         salt '*' cmd.shell "grep f" stdin='one\ntwo\nthree\nfour\nfive\n'
  51.         salt '*' cmd.shell cmd='sed -e s/=/:/g'
  52. 'cmd.shells:'
  53.         salt '*' cmd.shells
  54. 'cmd.tty:'
  55.         salt '*' cmd.tty tty0 'This is a test'
  56.         salt '*' cmd.tty pts3 'This is a test'
  57. 'cmd.which:'
  58.         salt '*' cmd.which cat
  60. ## grains
  61. salt '*' grains.ls   ##查看grains分类
  62. salt '*' grains.items   ##查看grains所有信息
  63. salt '*' grains.item osrelease  ##查看grains某个信息
  65. ## manage
  66. salt-run manage.up   ##查看存活的minion
  67. salt-run manage.down  ##查看死掉的minion
  68. salt-run manage.down removekeys=True   ##查看down掉的minion，并将其删除
  69. salt-run manage.status   ##查看minion的相关状态
  70. salt-run manage.versions   ##查看slat的所有master和minion的版本信息
  72. ## jobs
  73. salt-run jobs.active
  74. salt \* saltutil.running  ##查看运行的jobs ID
  75. salt \* saltutil.kill_job 20151209034239907625  ##kill掉进程ID
  77. ### saltutil模块中的job管理方法
  78. saltutil.running #查看minion当前正在运行的jobs
  79. saltutil.find_job<jid> #查看指定jid的job(minion正在运行的jobs)
  80. saltutil.signal_job<jid> <single> #给指定的jid进程发送信号
  81. saltutil.term_job <jid> #终止指定的jid进程(信号为15)
  82. saltutil.kill_job <jid> #终止指定的jid进程(信号为9)
  84. ### salt runner中的job管理方法
  85. salt-run jobs.active #查看所有minion当前正在运行的jobs(在所有minions上运?saltutil.running)
  86. salt-run jobs.lookup_jid<jid> #从master jobs cache中查询指定jid的运行结果
  87. salt-run jobs.list_jobs #列出当前master jobs cache中的所有job
  89. salt-run jobs.active
  90. salt-run jobs.list_jobs
  91. salt-run jobs.list_job 20190823152131069508
  92. salt-run jobs.lookup_jid 20190823152136187925
  94. https://docs.saltstack.com/en/latest/ref/states/backup_mode.html#file-state-backups

5.2 salt-api 安装部署

  1. ## 生成证书
  2. salt-call --local tls.create_self_signed_cert
  4. curl -k https://172.10.15.2:55880/login -H "Accept: application/x-yaml"  -d username='saltapi222'  -d password='saltapi222@##$$##'  -d eauth='pam'
  6. ## 链接：https://www.jianshu.com/p/012ccdff93cc
  8. useradd -M -s /sbin/nologin saltapi222
  9. passwd saltapi222
  10. saltapi222@##$$##
  12. ###############
  13. openssl 生成加密文件
  15. ### 222
  16. # 1 install
  17. yum install -y salt-api
  19. # 2 adduser
  20. useradd -M -s /sbin/nologin salt echo "salt@@123" |passwd --stdiin salt
  22. # 3 配置证书文件
  23. mkdir /etc/ssl/private
  24. ## 生成key
  25. openssl genrsa -out /etc/ssl/private/key.pem 4096
  26. ## 生成证书
  27. openssl req -new -x509 -key /etc/ssl/private/key.pem -out /etc/ssl/private/cert.pem -days 1826
  29. ## 为salt-api单独配置文件
  30. cat >> /etc/salt/master.d/salt-api.conf<<EOF
  31. external_auth:
  32.     pam:
  33.         salt:
  34.             - .*
  35.             - '@whell'
  36.             - '@runner'
  37.             - '@jobs'
  39. rest_cherrypy:
  40.     port: 58080
  41.     host: 0.0.0.0
  42.     ssl_crt: /etc/ssl/private/cert.pem
  43.     ssl_key: /etc/ssl/private/key.pem
  44.     # disable_ssl: True
  45. EOF
  47. # 重启master 和salt-api
  48. service salt-master restart
  49. service salt-api restart
  50. 4 API 测试验证
  51. 获取token
  52. curl -k https://127.0.0.1:8080/login -H "Accept: application/json" -d username='salt' -d password='salt@@123' -d eauth='pam' |jq .
  54. curl -k https://localhost:8080/ -H "Accept: application/json" -H "X-Auth-Token: ff3k3k23k2332" -d client='local' -d tgt='192.168.204.160' -d fun="cmd.run" -d arg="uname -a" |jq .
  56. jq JSON格式化输出
  57. yum install -y jq 
  58. cat json_test.txt |jq .

5.2.1 salt-api 使用

  1. ## https://www.jianshu.com/p/012ccdff93cc
  3. https://www.cnblogs.com/tutuye/p/11590599.html
  4. ## salt-api api接口
  5. https://honglimin.cn/saltstack/08_saltapi_doc.html

5.3 salt-ssh 批量部署minion

  1. yum install salt-ssh

5.8 ansible

  1. # ansible 常用模块
  3. 根据模块功能分类为：云模块、命令模块、数据库模块、文件模块、资产模块、消息模块、监控模块、网络模块、通知模块、包管理模块、源码控制模块、系统模块、单元模块、web设施模块、Windows模块。
  5. ## 安装ansible
  7. yum install ansible -y
  9. rpm -ql ansible
  11. /etc/ansible
  12. /etc/ansible/ansible.cfg
  13. /etc/ansible/hosts
  14. /etc/ansible/roles
  15. ...
  17. ansible -h
  19. ansible --version
  21. cat >/etc/ansible/hosts << EOF
  23. [test]
  24. 192.168.0.211
  26. # children
  27. [mfs:children]
  28. mfs_master
  29. mfs_client
  30. mfs_node
  32. [mfs_master]
  33. 192.168.204.11
  35. [mfs_client]
  36. 192.168.204.21
  38. [mfs_node]
  39. 192.168.204.31
  41. EOF
  43. 这里仅仅介绍一些最常用的模块；
  45. ### 收集客户机的信息
  46. ansible all -m setup
  48. ### ping 模块
  49. ansible all -m ping
  51. ### 执行命令
  52. ansible -i /etc/ansible/hosts test -u root -m command -a 'ls -l /root/' -k
  54. # 简化如下
  55. ansible test -a 'ls -l /root/' -k
  58. ### file 模块
  60. ansible test -m file -a "src=/etc/fstab dest=/tmp/fstab state=link"
  62. ansible test -m file -a "path=/tmp/fstab state=absent"
  64. ansible test -m file -a "path=/tmp/test state=touch"
  66. ansible test -m file -a "path=/tmp/d2 state=directory owner=root group=root mode=700"
  68. ansible test -m command -a "ls /tmp -lh"

六、gitlab

6.1 git命令入门

  1. #!/bin/bash
  2. cd "$WORKSPACE"
  3. git checkout $GitBranch
  4. git diff $from_commitid $to_commitid --name-only>compile_list.txt
  6. ## 获取commit id
  7. git log  --pretty="%s"  -2
  9. git log  --pretty="%H"  -2
  10. git log  --pretty="%h"  -2
  12. ## 某文件的修改记录
  13. git log filename   # 查看某个文件的commit记录
  14. git log -p filename    # 查看文件每次提交的diff
  15. git log --pretty=oneline filename # 列出文件的所有改动历史
  16. git show 提交生成的一次哈希值 filename  # 只查看某次提交的文件变化
  18. ## 取消add后的修改
  19. git reset HEAD + 文件名
  21. ## 取消commit后的修改
  22. git checkout commitId 文件名

6.2 gitlab的安装使用

  1. ##

6.8 Jenkins CI/CD

  1. ## docker 安装 Jenkins
  2. docker search jenkins
  3. docker pull jenkins/jenkins:lts
  4. mkdir  /opt/apps/jenkins -p
  5. chmod  777   /opt/apps/jenkins
  6. ll /opt/apps/
  7. docker run -it --name wk-jenkinsci -v /opt/apps/jenkins:/var/jenkins_home -p 8080:8080 -p 50000:50000 -p 45000:45000 jenkins/jenkins:lts
  9. ## 查看启动状态
  10. dockeer ps
  12. ## 查看启动端口
  13. netstat -ntlp |grep 8080
  15. cd /opt/apps/jenkins/
  17. vim copy_reference_file.log
  18. ## 升级站点项的的地址配置文件
  19. cat hudson.model.UpdateCenter.xml
  20. ## 备份配置文件
  21. cp  hudson.model.UpdateCenter.xml  hudson.model.UpdateCenter.xml.default
  22. ## 【系统管理】【管理插件】【高级】升级站点项的地址修改成，
  23. ## 手动修改配置文件或后台修改http://ip:8080/pluginManager/advanced
  24. grep center.json *
  25. hudson.model.UpdateCenter.xml:    <url>https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json</url>
  27. ## ldap配置系列二：jenkins集成ldap
  28. https://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_liunx_52_ldap_for_jenkins.html
  30. ## jenkins集成OpenLDAP认证
  31. https://www.cnblogs.com/37Y37/p/9430272.html
  33. ## Jenkins学习七：Jenkins的授权和访问控制  
  34. https://www.cnblogs.com/yangxia-test/p/4368778.html
  36. ## Jenkins学习四：Jenkins 邮件配置
  37. https://www.cnblogs.com/yangxia-test/p/4366172.html
  39. ## Jenkins 持续集成综合实战
  40. https://kefeng.wang/2017/01/06/jenkins/

七、docker

7.1 配置阿里repo安装docker

  1. ## 18.06.1-ce
  2. wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
  3. # yum install -y yum-utils device-mapper-persistent-data lvm2
  4. # yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  6. yum makecache
  7. yum list docker-ce --showduplicates | sort -r
  9. yum -y install  docker-ce
  10. systemctl enable docker && systemctl start docker
  12. docker version
  14. ## 镜像的导入和导出
  15. docker save rancher/rke-tools:v0.1.59  rancher/coreos-etcd:v3.4.3-rancher1  > etcd.tar
  16. docker load < etcd.tar
  18. ## pip3 install docker-compose
  19. yum install python36-devel python36-pip
  20. pip3 install docker-compose 
  22. ### docker-compose命令补全
  23. curl -L https://raw.githubusercontent.com/docker/compose/1.27.4/contrib/completion/bash/docker-compose > /etc/bash_completion.d/docker-compose

docker base

  1. #1.停止所有的container，这样才能够删除其中的images：
  2. docker stop $(docker ps -a -q)
  4. #如果想要删除所有container的话再加一个指令：
  5. docker rm $(docker ps -a -q)
  7. #2.查看当前有些什么images
  8. docker images
  10. #3.删除images，通过image的id来指定删除谁
  11. docker rmi <image id>

dockers volumes

  2. 增加这个
  3.     volumes:
  4.       - /etc/localtime:/etc/localtime
  5.       - /etc/timezone:/etc/timezone  
  8. https://segmentfault.com/a/1190000005612603
  9. docker run -e TZ="Asia/Shanghai" -v /etc/localtime:/etc/localtime:ro --name=tomcat tomcat:8.0.35-jre8
  11. <p>通过这样的启动方式，就是OK了。<br>当然聪明人肯定不会自己每次都在启动的时候加这些配置，当然在基础镜像里面搞好咯。</p>

docker cp

  1. ### 将主机/www/runoob目录拷贝到容器96f7f14e99ab的/www目录下。
  2. docker cp /www/runoob 96f7f14e99ab:/www/
  4. ### 将主机/www/runoob目录拷贝到容器96f7f14e99ab中，目录重命名为www。
  5. docker cp /www/runoob 96f7f14e99ab:/www
  7. ### 将容器96f7f14e99ab的/www目录拷贝到主机的/tmp目录中。
  8. docker cp  96f7f14e99ab:/www /tmp/

7.2 docker-compose

docker flask

  1. https://www.cnblogs.com/soymilk2019/p/11590117.html

docker nginx

  1. docker run --name testnginx  -p 888:80  -v /mnt/nz-docker/init/nginx/nz-docker.conf:/etc/nginx/conf.d/default.conf -v /mnt/nz-docker/client/:/usr/share/nginx/html/  nginx:1.12.2
  3. docker run --name testnginx  -p 888:80  -v init/nginx/nz-docker.conf:/etc/nginx/conf.d/default.conf -v client/:/usr/share/nginx/html/  nginx:1.12.2

7.5 elk - docker

elk

  1. #确立自己原则的“五步原则”
  2. #
  3. #1、目标：我要什么？
  4. #2、计划：我该怎么做？
  5. #3、行动：我碰到了什么问题？
  6. #4、反思：什么原因？
  7. #5、改进：形成原则
  9. ├── docker-compose.yml
  10. ├── docker-stack.yml
  11. ├── elasticsearch
  12. │   ├── config
  13. │   │   └── elasticsearch.yml
  14. │   └── Dockerfile
  15. ├── extensions
  16. │   ├── apm-server
  17. │   ├── app-search
  18. │   ├── curator
  19. │   ├── logspout
  20. ├── kibana
  21. │   ├── config
  22. │   │   └── kibana.yml
  23. │   └── Dockerfile
  24. ├── LICENSE
  25. ├── logstash
  26. │   ├── config
  27. │   │   └── logstash.yml
  28. │   ├── Dockerfile
  29. │   └── pipeline
  30. │       └── logstash.conf
  31. └── README.md
  33. ---
  34. version: '2.2'
  36. services:
  38.   elasticsearch:
  39.     image: docker.elastic.co/elasticsearch/elasticsearch:7.2.0
  40.     container_name: elasticsearch7.2.0
  41.     environment:
  42.       - discovery.type=single-node
  43.       - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
  44.       - TZ=Asia/Shanghai
  45.     volumes:
  46.       - esdata:/usr/share/elasticsearch
  47.     hostname: elasticsearch
  48.     restart: always
  49.     ports:
  50.       - 9200:9200
  51.       - 9300:9300
  53.   kibana:
  54.     image: docker.elastic.co/kibana/kibana:7.2.0
  55.     container_name: kibana7.2.0
  56.     environment:
  57.       - elasticsearch.hosts=http://elasticsearch:9200
  58.       - TZ=Asia/Shanghai
  59.     hostname: kibana
  60.     depends_on:
  61.       - elasticsearch
  62.     restart: always
  63.     ports:
  64.       - "5601:5601"
  66.   logstash:
  67.     image: docker.elastic.co/logstash/logstash:7.2.0
  68.     container_name: logstash7.2.0
  69.     environment:
  70.       - TZ=Asia/Shanghai
  71.     hostname: logstash
  72.     restart: always
  73.     depends_on:
  74.       - elasticsearch
  75.     ports:
  76.       - 9600:9600
  77.       - 5044:5044
  79. volumes:
  80.   esdata:
  81.     driver: local
  83. #链接：https://www.jianshu.com/p/24f6548de113

logstash5 配置文件

  1. input {
  2.     file {
  3.             path => "/var/log/httpd/access_log"
  4.             type => "http"
  5.             start_position => "beginning"
  6.     }
  8.     file {
  9.             path => "/usr/local/nginx/logs/elk.access.log"
  10.             type => "nginx"
  11.             start_position => "beginning"
  12.     }
  14.     file {
  15.             path => "/var/log/secure"
  16.             type => "secure"
  17.             start_position => "beginning"
  18.     }
  20.     file {
  21.             path => "/var/log/messages"
  22.             type => "system"
  23.             start_position => "beginning"
  24.     }
  25. }
  28. output {
  29.     if [type] == "http" {
  30.         redis {
  31.             host => "192.168.1.202"
  32.             password => 'test'
  33.             port => "6379"
  34.             db => "6"
  35.             data_type => "list"
  36.             key => 'nagios_http' 
  37.         }
  38.     }
  40.     if [type] == "nginx" {
  41.         redis {
  42.             host => "192.168.1.202"
  43.             password => 'test'
  44.             port => "6379"
  45.             db => "6"
  46.             data_type => "list"
  47.             key => 'nagios_nginx' 
  48.         }
  49.     }
  51.     if [type] == "secure" {
  52.         redis {
  53.             host => "192.168.1.202"
  54.             password => 'test'
  55.             port => "6379"
  56.             db => "6"
  57.             data_type => "list"
  58.             key => 'nagios_secure' 
  59.         }
  60.     }
  62.     if [type] == "system" {
  63.         redis {
  64.             host => "192.168.1.202"
  65.             password => 'test'
  66.             port => "6379"
  67.             db => "6"
  68.             data_type => "list"
  69.             key => 'nagios_system' 
  70.         }
  71.     }
  72. } 
  74. # # /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/full.conf

logstash7 部分配置参考

  1. { generator 
  2.     { message => stdin codec => json }
  3. }
  5. filter {
  6.      mutate {
  7.           rename => { "[foo][bar]" => "hello" }
  8.          }
  9. }
  11. input{
  12.   stdin{codec => json_lines}
  13. }
  15. filter{
  16.   mutate{
  17.     rename => {
  18.         "[f1][f2]" => "f3"
  19.         }
  20.     }
  21. }
  23. output{
  24.   stdout{
  25.     codec => rubydebug{}
  26.     }
  27. }

kafka测试

  1. https://www.cnblogs.com/xiao987334176/p/10075659.html
  4. /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 172.16.1.245:2181,172.16.1.243:2181,172.16.1.244:2181/kafka --replication-factor 3 --partitions 1 --topic test-topic
  6. /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 172.16.1.245:2181,172.16.1.243:2181,172.16.1.244:2181/kafka --topic test-topic
  9. 作者：杨赟快跑
  10. 链接：https://www.jianshu.com/p/bdd9608df6b3
  13. /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties 
  15. /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
  18. kill -9 `jps |grep afka |awk '{print $1}'`
  20. grep -v '^$' server.properties |grep -v '^#'
  22. ll /usr/local/kafka/zookeeper/

7.5.4 filebeat7.yml

  1. filebeat.inputs:
  2. - type: log
  3.   enabled: true
  4.   # Paths that should be crawled and fetched. Glob based paths.
  5.   paths:
  6.     - /opt/log/games/*/*.log
  7.   ### Multiline options
  8.   multiline.pattern: '^[0-9]{4}'
  9.   multiline.negate: true
  10.   multiline.match: after
  12.   #exclude_files: ["[0-9]{4}-[0-9]{2}-[0-9]{2}.[0-9]{3}.log$"]
  13.   tags: ["games"]
  15. #================================ Logging =====================================
  16. # Sets log level. The default log level is info.
  17. # Available log levels are: error, warning, info, debug
  18. logging.level: info
  19. logging.to_files: true
  20. logging.files:
  21.   path: /opt/log/filebeat7
  23.   name: filebeat.log
  25. ######output for kafka#######
  26. output.kafka:
  27.   hosts: ["kafka-s1.demain.com:9093","kafka-s2.demain.com:9093","kafka-s3.demain.com:9093"]
  28.   topic: 'GAMES-NZ'
  29.   partition.round_robin:
  30.     reachable_only: false
  31.   enabled: true
  32.   required_acks: 1
  33.   max_message_bytes: 100000000
  34.   version: "0.10"
  35.   keep_alive: 60s
  36.   compression: gzip
  37.   flush_interval: 10s
  38.   #######ssl########
  39.   ssl.certificate_authorities: "/usr/local/filebeat/keytool/myca.pem"
  40.   ssl.certificate: "/usr/local/filebeat/keytool/client1.pem"
  41.   ssl.key: "/usr/local/filebeat/keytool/client1-key.pem"

7.5.5 kibana dev tools

  1. # Dev Tools
  3. ## 入门简介
  4. https://www.cnblogs.com/ginb/p/6637236.html
  6. ## 官方api
  7. https://www.elastic.co/guide/en/elasticsearch/reference/7.3/cat-health.html
  9. ## 集群信息
  10. GET /_cluster/stats?pretty
  12. ## 分片大小
  13. GET /_cat/shards?v
  14. # GET _cat/shards?h=index,shard,prirep,state,unassigned.reason
  16. index                        shard prirep state           docs    store ip          node
  17. games-nz_ydwx-2020.11.04     0     r      STARTED        12059    3.5mb 172.16.1.68 es_node-1
  18. games-nz_ydwx-2020.11.04     0     p      STARTED        12059    3.4mb 172.16.1.64 es_node-3
  21. ## 列出所有索引
  22. GET /_cat/indices?v
  23. # GET /_cat/indices?v&s=pri.store.size
  24. # GET /_cat/indices?v&s=pri.store.size:desc
  26. health status index                        uuid                   pri rep docs.count docs.deleted store.size pri.store.size
  27. green  open   games-nz_hf-2020.11.03       xWdlWq58RPSjpd7LcA2Ipw   1   1   26337502            0     18.8gb          9.4gb
  28. green  open   games-nz_hf-2020.11.09       Ozy8LS54TKuyEK8mmLMOqA   1   1    1808980            0      1.5gb        769.3mb
  29. green  open   audit-2020.10.25             AggdiOSwQXW0R0EWlNAUig   1   1        186            0    276.8kb        138.4kb
  31. ## 是否健康
  32. GET /_cat/health?v
  34. ## 返回 bank 索引中的所有文档
  35. GET /bank/_search?q=*&sort=account_number:asc&pretty
  37. ## ElasticSearch优化整理
  38. https://www.jianshu.com/p/45a15ca1114f

7.5.8 py es api

  1. #pip3 install elasticsearch
  2. #https://www.cnblogs.com/xiao987334176/p/10130712.html
  3. from elasticsearch import Elasticsearch
  4. es = Elasticsearch(['10.10.13.12'], http_auth=('xiao', '123456'), timeout=3600)
  6. es.search(index='logstash-2015.08.20', q='http_status_code:5* AND server_name:"web1"', from_='124119')

7.6 prometheus - docker

  1. ##

7.6.8 py prom api

  1. ##

py alert api

  1. ##
  2. GET /-/healthy 
  3. GET /-/ready  
  4. POST /-/reload
  6. curl -u monitor:fosafer.com 127.0.0.1:9093/-/healthy
  7. curl -XPOST   127.0.0.1:9093/-/reload
  8. curl -XPOST -u monitor:fosafer.com 127.0.0.1:9093/-/reload

八、Prometheus

8.1 prometheus安装

  1. tar xf 
  2. mkdir /opt/prometheus/

8.2 promql语法

  1. ### 11xxx 的在线redis
  2. redis_up{redis_host=~".*:11[0-9]{3}"}
  3. ### prometheus监控 promsql的常用的几个的写法
  4. ## 监控CPU的使用率
  5. 100 - (avg by (instance) (irate(node_cpu{instance="10.3.51.200:9100", mode="idle"}[1m])) * 100)
  6. ## CPU各个mode的占用率
  7. avg by (instance, mode) (irate(node_cpu{instance="10.3.51.200:9100"}[1m])) * 100
  8. user：cpu花了多少比率运行用户态空间，也就是用户进程占比。用户空间程序是不属于内核的任何进程。 
  9. system：CPU花了多少比率运行内核空间。所有进程和系统资源都有liunx内核处理。 
  10. iowait：读写磁盘的操作比CPU的运行时间慢，CPU负载处理数据，而数据一般在磁盘上需要读到内存中才能处理。当CPU发起读写操作后，需要等着磁盘驱动器将数据读入内存，从而导致CPU等待一段时间无事可做。CPU处于这种状态的等待时间就是iowait时间。 
  11. idle：CPU处于空闲状态的时间比例 irq＆softirq：处理器为中断服务的时间。
  12. irq用于硬件中断，
  13. softirq用于软件中断。 
  14. Nice：用户空间进程的CPU的调度优先级，可以通过调整期优先级来调整用户空间的优先级。
  16. ## 机器一分钟的平均负载
  17. node_load1{instance="10.3.51.200:9100"}
  18. ## 内存使用率
  19. 100 - ((node_memory_MemFree{instance="10.3.51.200:9100"}+node_memory_Cached{instance="10.3.51.200:9100"}+node_memory_Buffers{instance="10.3.51.200:9100"})/node_memory_MemTotal) * 100
  21. ### 带宽监控 
  22. ## 上行带宽
  23. sum by (instance) (irate(node_network_receive_bytes{instance="10.3.51.200:9100",device!~"bond.*?|lo"}[1m])/128)
  24. ## 下行带宽
  25. sum by (instance) (irate(node_network_transmit_bytes{instance="10.3.51.200:9100",device!~"bond.*?|lo"}[1m])/128)
  26. ## 入包量
  27. sum by (instance) (rate(node_network_receive_bytes{instance="10.3.51.200:9100",device!="lo"}[1m]))
  28. ## 出包量
  29. sum by (instance) (rate(node_network_transmit_bytes{instance="10.3.51.200:9100",device!="lo"}[1m]))
  31. ## 磁盘使用率
  32. 100 - node_filesystem_free{instance="10.3.51.200:9100",fstype!~"rootfs|selinuxfs|autofs|rpc_pipefs|tmpfs|udev|none|devpts|sysfs|debugfs|fuse.*"} / node_filesystem_size{instance="10.3.51.200:9100",fstype!~"rootfs|selinuxfs|autofs|rpc_pipefs|tmpfs|udev|none|devpts|sysfs|debugfs|fuse.*"} * 100
  33. ## 平均请求数
  34. rate(http_requests_total{instance="10.3.51.200:9100"}[1m])
  36. 原文：https://blog.csdn.net/sunyuhua_keyboard/article/details/81302165 
  37. 版权声明：本文为博主原创文章，转载请附上博文链接！
  39. ### 函数列表一些函数有默认的参数，例如：
  40. year(v=vector(time()) instant-vector)
  41. v是参数值，instant-vector是参数类型。
  42. vector(time())是默认值。
  44. abs()
  45. abs(v instant-vector)返回输入向量的所有样本的绝对值。
  47. absent()
  48. absent(v instant-vector)，如果赋值给它的向量具有样本数据，则返回空向量；如果传递的瞬时向量参数没有样本数据，则返回不带度量指标名称且带有标签的样本值为1的结果当监控度量指标时，如果获取到的样本数据是空的， 使用absent方法对告警是非常有用的
  50. absent(nonexistent{job="myjob"}) # => key: value = {job="myjob"}: 
  51. absent(nonexistent{job="myjob", instance=~".*"}) # => {job="myjob"} 1 so smart !
  52. absent(sum(nonexistent{job="myjob"})) # => key:value {}: 0
  54. ceil()
  55. ceil(v instant-vector) 是一个向上舍入为最接近的整数。
  57. changes()
  58. changes(v range-vector) 输入一个范围向量， 返回这个范围向量内每个样本数据值变化的次数。
  60. clamp_max()
  61. clamp_max(v instant-vector, max scalar)函数，输入一个瞬时向量和最大值，样本数据值若大于max，则改为max，否则不变
  63. clamp_min()
  64. clamp_min(v instant-vector)函数，输入一个瞬时向量和最大值，样本数据值小于min，则改为min。否则不变
  66. count_saclar()
  67. count_scalar(v instant-vector) 函数, 输入一个瞬时向量，返回key:value="scalar": 样本个数。而count()函数，输入一个瞬时向量，返回key:value=向量：样本个数，其中结果中的向量允许通过by条件分组。
  69. day_of_month()
  70. day_of_month(v=vector(time()) instant-vector)函数，返回被给定UTC时间所在月的第几天。返回值范围：1~31。
  72. day_of_week()
  73. day_of_week(v=vector(time()) instant-vector)函数，返回被给定UTC时间所在周的第几天。返回值范围：0~6. 0表示星期天。
  75. days_in_month()
  76. days_in_month(v=vector(time()) instant-vector)函数，返回当月一共有多少天。返回值范围：28~31.
  78. delta()
  79. delta(v range-vector)函数，计算一个范围向量v的第一个元素和最后一个元素之间的差值。返回值：key:value=度量指标：差值下面这个表达式例子，返回过去两小时的CPU温度差：delta(cpu_temp_celsius{host="zeus"}[2h])delta函数返回值类型只能是gauges。
  81. deriv()
  82. deriv(v range-vector)函数，计算一个范围向量v中各个时间序列二阶导数，使用简单线性回归deriv二阶导数返回值类型只能是gauges。
  84. drop_common_labels()
  85. drop_common_labels(instant-vector)函数，输入一个瞬时向量，返回值是key:value=度量指标：样本值，其中度量指标是去掉了具有相同标签。 
  86. 例如：
  87. http_requests_total{code="200", host="127.0.0.1:9090", method="get"} : 4, 
  88. http_requests_total{code="200", host="127.0.0.1:9090", method="post"} : 5, 
  89. 返回值: http_requests_total{method="get"} : 4, http_requests_total{code="200", method="post"} : 5
  91. exp()
  92. exp(v instant-vector)函数，输入一个瞬时向量, 返回各个样本值的e指数值，即为e^N次方。特殊情况如下所示：Exp(+inf) = +Inf Exp(NaN) = NaNfloor()floor(v instant-vector)函数，与ceil()函数相反。 4.3 为 4 。
  94. histogram_quantile()
  95. histogram_quatile(φ float, b instant-vector) 函数计算b向量的φ-直方图 (0 ≤ φ ≤ 1) 。参考中文文献[https://www.howtoing.com/how-to-query-prometheus-on-ubuntu-14-04-part-2/]
  97. holt_winters()
  98. holt_winters(v range-vector, sf scalar, tf scalar)函数基于范围向量v，生成事件序列数据平滑值。平滑因子sf越低, 对老数据越重要。趋势因子tf越高，越多的数据趋势应该被重视。0< sf, tf <=1。 holt_winters仅用于gaugeshour()hour(v=vector(time()) instant-vector)函数返回被给定UTC时间的当前第几个小时，时间范围：0~23。
  100. idelta()
  101. idelta(v range-vector)函数，输入一个范围向量，返回key: value = 度量指标： 每最后两个样本值差值。
  103. increase()
  104. increase(v range-vector)函数， 输入一个范围向量，返回：key:value = 度量指标：last值-first值，自动调整单调性，
  105. 如：服务实例重启，则计数器重置。与delta()不同之处在于delta是求差值，而increase返回最后一个减第一个值,可为正为负。下面的表达式例子，返回过去5分钟，连续两个时间序列数据样本值的http请求增加值。
  106. increase(http_requests_total{job="api-server"}[5m])increase的返回值类型只能是counters，主要作用是增加图表和数据的可读性，使用rate记录规则的使用率，以便持续跟踪数据样本值的变化。
  108. irateirate(v range-vector)函数, 输入：范围向量，输出：key: value = 度量指标： (last值-last前一个值)/时间戳差值。它是基于最后两个数据点，自动调整单调性， 如：服务实例重启，则计数器重置。下面表达式针对范围向量中的每个时间序列数据，返回两个最新数据点过去5分钟的HTTP请求速率。
  110. irate(http_requests_total{job="api-server"}[5m])irate只能用于绘制快速移动的计数器。因为速率的简单更改可以重置FOR子句，利用警报和缓慢移动的计数器，完全由罕见的尖峰组成的图形很难阅读。
  112. label_replace()对于v中的每个时间序列，
  113. label_replace(v instant-vector, dst_label string, replacement string, src_label string, regex string) 将正则表达式与标签值src_label匹配。如果匹配，则返回时间序列，标签值dst_label被替换的扩展替换。$1替换为第一个匹配子组，$2替换为第二个等。如果正则表达式不匹配，则时间序列不会更改。另一种更容易的理解是：label_replace函数，输入：瞬时向量，输出：key: value = 度量指标： 值（要替换的内容：首先，针对src_label标签，对该标签值进行regex正则表达式匹配。如果不能匹配的度量指标，则不发生任何改变；否则，如果匹配，则把dst_label标签的标签纸替换为replacement 下面这个例子返回一个向量值a带有foo标签： 
  115. label_replace(up{job="api-server", serice="a:c"}, "foo", "$1", "service", "(.):.")
  117. ln()
  118. ln(v instance-vector)计算瞬时向量v中所有样本数据的自然对数。特殊例子：ln(+Inf) = +Inf ln(0) = -Inf ln(x<0) = NaN ln(NaN) = NaN
  120. log2()
  121. log2(v instant-vector)函数计算瞬时向量v中所有样本数据的二进制对数。
  123. log10()
  124. log10(v instant-vector)函数计算瞬时向量v中所有样本数据的10进制对数。相当于ln()minute()minute(v=vector(time()) instant-vector)函数返回给定UTC时间当前小时的第多少分钟。结果范围：0~59。
  126. month()
  127. month(v=vector(time()) instant-vector)函数返回给定UTC时间当前属于第几个月，结果范围：0~12。
  129. predict_linear()
  130. predict_linear(v range-vector, t scalar)预测函数，输入：范围向量和从现在起t秒后，输出：不带有度量指标，只有标签列表的结果值。例如：predict_linear(http_requests_total{code="200",instance="120.77.65.193:9090",job="prometheus",method="get"}[5m], 5)
  131. 结果：
  132. {code="200",handler="query_range",instance="120.77.65.193:9090",job="prometheus",method="get"} 1
  133. {code="200",handler="prometheus",instance="120.77.65.193:9090",job="prometheus",method="get"} 4283.449995397104
  134. {code="200",handler="static",instance="120.77.65.193:9090",job="prometheus",method="get"} 22.99999999999999
  135. {code="200",handler="query",instance="120.77.65.193:9090",job="prometheus",method="get"} 130.90381188596754
  136. {code="200",handler="graph",instance="120.77.65.193:9090",job="prometheus",method="get"} 2
  137. {code="200",handler="label_values",instance="120.77.65.193:9090",job="prometheus",method="get"} 2
  139. rate()
  140. rate(v range-vector)函数, 输入：范围向量，输出：key: value = 不带有度量指标，且只有标签列表：(last值-first值)/时间差srate(http_requests_total[5m])结果：{code="200",handler="label_values",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="200",handler="query_range",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="200",handler="prometheus",instance="120.77.65.193:9090",job="prometheus",method="get"} 0.2{code="200",handler="query",instance="120.77.65.193:9090",job="prometheus",method="get"} 0.003389830508474576{code="422",handler="query",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="200",handler="static",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="200",handler="graph",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="400",handler="query",instance="120.77.65.193:9090",job="prometheus",method="get"} 0rate()函数返回值类型只能用counters， 当用图表显示增长缓慢的样本数据时，这个函数是非常合适的。注意：当rate函数和聚合方式联合使用时，一般先使用rate函数，再使用聚合操作, 否则，当服务实例重启后，rate无法检测到counter重置。
  142. resets()
  143. resets()函数, 输入：一个范围向量，输出：key-value=没有度量指标，且有标签列表[在这个范围向量中每个度量指标被重置的次数]。在两个连续样本数据值下降，也可以理解为counter被重置。 示例：resets(http_requests_total[5m])结果：{code="200",handler="label_values",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="200",handler="query_range",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="200",handler="prometheus",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="200",handler="query",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="422",handler="query",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="200",handler="static",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="200",handler="graph",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="400",handler="query",instance="120.77.65.193:9090",job="prometheus",method="get"} 0resets只能和counters一起使用。
  145. round()
  146. round(v instant-vector, to_nearest 1= scalar)函数，与ceil和floor函数类似，输入：瞬时向量，输出：指定整数级的四舍五入值, 如果不指定，则是1以内的四舍五入。
  148. scalar()
  149. scalar(v instant-vector)函数, 输入：瞬时向量，输出：key: value = “scalar”, 样本值[如果度量指标样本数量大于1或者等于0, 则样本值为NaN, 否则，样本值本身]
  151. sort()
  152. sort(v instant-vector)函数，输入：瞬时向量，输出：key: value = 度量指标：样本值[升序排列]
  154. sort_desc()
  155. sort_desc(v instant-vector)函数，输入：瞬时向量，输出：key: value = 度量指标：样本值[降序排列]
  157. sqrt()
  158. sqrt(v instant-vector)函数，输入：瞬时向量，输出：key: value = 度量指标： 样本值的平方根
  160. time()
  161. time()函数，返回从1970-01-01到现在的秒数，注意：它不是直接返回当前时间，而是时间戳
  163. vector()
  164. vector(s scalar)函数，返回：key: value= {}, 传入参数值
  166. year()
  167. year(v=vector(time()) instant-vector), 返回年份。_over_time()下面的函数列表允许传入一个范围向量，返回一个带有聚合的瞬时向量:
  168. avg_over_time(range-vector): 范围向量内每个度量指标的平均值。
  169. min_over_time(range-vector): 范围向量内每个度量指标的最小值。
  170. max_over_time(range-vector): 范围向量内每个度量指标的最大值。
  171. sum_over_time(range-vector): 范围向量内每个度量指标的求和值。
  172. count_over_time(range-vector): 范围向量内每个度量指标的样本数据个数。
  173. quantile_over_time(scalar, range-vector): 范围向量内每个度量指标的样本数据值分位数，φ-quantile (0 ≤ φ ≤ 1)
  174. stddev_over_time(range-vector): 范围向量内每个度量指标的总体标准偏差。
  175. stdvar_over_time(range-vector): 范围向量内每个度量指标的总体标准方差。
  176. 转自：https://github.com/1046102779/prometheus/blob/master/prometheus/querying/functions.md
  177. https://github.com/prometheus/prometheus/blob/master/docs/querying/functions.md
  180. irate(node_cpu[2m])
  181. irate(node_load1{instance="172.16.1.43:9301"}[8h])
  182. max(prometheus_http_request_duration_seconds_count{instance="129.211.99.141:9090"})
  183. max_over_time(prometheus_http_request_duration_seconds_count{instance="129.211.99.141:9090"}[2m])

8.5 Grafana

  1. 常用模板编号：
  2. node-exporter: cn/8919,en/11074
  3. k8s: 13105
  4. docker: 12831
  5. alertmanager: 9578
  6. blackbox_exportre: 9965

九、kubernetes

Kubernetes（k8s）中文文档 名称解释：Deployment_Kubernetes中文社区

  1. ####################
  2. https://zhuanlan.zhihu.com/p/53260098
  4. 怎么样？是不是很神奇？
  6. 所以，Docker的第二句口号就是："Build once，Run anywhere（搭建一次，到处能用）"。
  8. Docker技术的三大核心概念，分别是：
  10. 镜像（Image）
  11. 容器（Container）
  12. 仓库（Repository）
  14. 一个K8S系统，通常称为一个K8S集群（Cluster）,主要包括两个部分：
  16. 一个Master节点（主节点）
  17. 一群Node节点（计算节点）
  19. Master节点包括: API Server、Scheduler、Controller manager、etcd。
  21. API Server是整个系统的对外接口，供客户端和其它组件调用，相当于"营业厅"。
  23. Scheduler负责对集群内部的资源进行调度，相当于"调度室"。
  25. Controller manager负责管理控制器，相当于"大总管"。
  28. Node节点包括Docker、kubelet、kube-proxy、Fluentd、kube-dns（可选），还有就是Pod。
  30. Pod是Kubernetes最基本的操作单元。一个Pod代表着集群中运行的一个进程，它内部封装了一个或多个紧密相关的容器。除了Pod之外，K8S还有一个Service的概念，一个Service可以看作一组提供相同服务的Pod的对外访问接口。这段不太好理解，跳过吧。
  32. Docker，不用说了，创建容器的。
  34. Kubelet，主要负责监视指派到它所在Node上的Pod，包括创建、修改、监控、删除等。
  36. Kube-proxy，主要负责为Pod对象提供代理。
  38. Fluentd，主要负责日志收集、存储与查询。

9.1 kubeadm 安装k8s

9.1.1 机器初始化（准备环境）

  1. ### 关闭防火墙：
  2. systemctl stop firewalld
  3. systemctl disable firewalld
  5. ### 关闭selinux：
  6. sed -i 's/enforcing/disabled/' /etc/selinux/config 
  7. setenforce 0
  9. ### 关闭swap：
  10. swapoff -a  #临时
  11. sed -i '/swap/ s/^\(.*\)$/#\1/g' /etc/fstab
  12. ### vim /etc/fstab  永久
  14. ### 添加主机名与IP对应关系（记得设置主机名）：
  15. ## hostnamectl --static set-hostname  k8s-node02
  16. cat >> /etc/hosts <<EOF
  17. 192.168.204.140 k8s-master
  18. 192.168.204.141 k8s-node1
  19. 192.168.204.142 k8s-node2
  21. EOF
  22. ### 将桥接的IPv4流量传递到iptables的链：
  23. cat > /etc/sysctl.d/k8s.conf << EOF
  24. net.bridge.bridge-nf-call-ip6tables = 1
  25. net.bridge.bridge-nf-call-iptables = 1
  26. EOF
  27. sysctl --system
  29. yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget
  31. ### repo配置
  32. mkdir /etc/yum.repo.d/bak
  33. mv /etc/yum.repo.d/*.repo /etc/yum.repo.d/bak
  34. wget -O /etc/yum.repos.d/epel.repo  http://mirrors.aliyun.com/repo/epel-7.repo
  36. wget -O /etc/yum.repos.d/CentOS-Base.repo  http://mirrors.aliyun.com/repo/Centos-7.repo
  38. wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
  40. ### 安装指定版本的docker
  41. yum makecache
  42. yum -y install docker-ce-18.06.1.ce-3.el7
  43. systemctl enable docker && systemctl start docker
  45. docker --version
  47. ### 配置k8s repo
  48. cat > /etc/yum.repos.d/kubernetes.repo << EOF
  49. [kubernetes]
  50. name=Kubernetes
  51. baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
  52. enabled=1
  53. gpgcheck=0
  54. repo_gpgcheck=0
  55. gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  56. EOF
  58. ### 4.3 安装kubeadm，kubelet和kubectl
  59. ### 由于版本更新频繁，这里指定版本号部署：
  61. yum install -y kubelet-1.15.2 kubeadm-1.15.2 kubectl-1.15.2
  62. systemctl enable kubelet && systemctl start kubelet

9.1.2 master部署

  1. ### 在192.168.204.140 （Master）执行。
  3. kubeadm init \
  4.   --apiserver-advertise-address=192.168.204.140 \
  5.   --image-repository registry.aliyuncs.com/google_containers \
  6.   --kubernetes-version v1.15.0 \
  7.   --service-cidr=10.1.0.0/16 \
  8.   --pod-network-cidr=10.244.0.0/16
  11. ### 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址。
  13. ### 使用kubectl工具：
  15. ## bash
  16. mkdir -p $HOME/.kube
  17. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  18. sudo chown $(id -u):$(id -g) $HOME/.kube/config
  19. kubectl get nodes
  20. kubectl get pods -A
  21. ## 6. 安装Pod网络插件（CNI）
  23. ## kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c1141408878db11b/Documentation/kube-flannel.yml
  25. kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
  27. ## https://www.cnblogs.com/hongdada/p/11395200.html
  28. docker pull quay-mirror.qiniu.com/coreos/flannel:v0.11.0-amd64
  29. docker tag quay-mirror.qiniu.com/coreos/flannel:v0.11.0-amd64 quay.io/coreos/flannel:v0.11.0-amd64
  30. docker rmi quay-mirror.qiniu.com/coreos/flannel:v0.11.0-amd64 
  32. 海外服务器执行：
  33. docker save gcr.io/google_containers/kubernetes-dashboard-amd64:v1.5.1 > dashboard.tar
  34. docker save registry.access.redhat.com/rhel7/pod-infrastructure:latest > podinfrastructure.tar
  35. scp *.tar root@你国内的外网IP:/home/tar
  36. 各个node上执行：
  37. docker load < dashboard.tar
  38. docker load < podinfrastructure.tar
  40. [root@k8s-master01 ~]# kubectl get pods -A -o wide
  41. NAMESPACE     NAME                                   READY   STATUS                  RESTARTS   AGE   IP                NODE           NOMINATED NODE   READINESS GATES
  42. kube-system   coredns-bccdc95cf-rbpfs                0/1     Pending                 0          28m   <none>            <none>         <none>           <none>
  43. kube-system   coredns-bccdc95cf-tsdf6                0/1     Pending                 0          28m   <none>            <none>         <none>           <none>
  44. kube-system   etcd-k8s-master01                      1/1     Running                 0          28m   192.168.204.140   k8s-master01   <none>           <none>
  45. kube-system   kube-apiserver-k8s-master01            1/1     Running                 0          28m   192.168.204.140   k8s-master01   <none>           <none>
  46. kube-system   kube-controller-manager-k8s-master01   1/1     Running                 1          28m   192.168.204.140   k8s-master01   <none>           <none>
  47. kube-system   kube-flannel-ds-amd64-4jqnj            0/1     Init:ImagePullBackOff   0          19m   192.168.204.140   k8s-master01   <none>           <none>
  48. kube-system   kube-proxy-rpl4s                       1/1     Running                 0          28m   192.168.204.140   k8s-master01   <none>           <none>
  49. kube-system   kube-scheduler-k8s-master01            1/1     Running                 1          28m   192.168.204.140   k8s-master01   <none>           <none>
  51. ### 确保能够访问到quay.io这个registery。
  52. ### 如果下载失败，可以改成这个镜像地址：lizhenliang/flannel:v0.11.0-amd64
  54. kubectl  delete pods kube-flannel-ds-amd64-4jqnj -n kube-system

9.1.3 node部署

  1. ## 在192.168.204.141/142 （Node）执行。
  2. ## 向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：
  3. kubeadm join 192.168.204.140:6443 --token vr3h2n.8tq4754f0qugtesu \
  4.     --discovery-token-ca-cert-hash sha256:a300b8ebdb144938a3aabbba76bc98968c9546ebb9083445b764ea037b172503
  6. ## master 执行 get pods -A  发现flannel自动注册
  7. kube-system   kube-flannel-ds-amd64-m8vvw            1/1     Running   1          35s

9.1.4 测试集群

  1. ### 在Kubernetes集群中创建一个pod，验证是否正常运行：
  3. kubectl create deployment nginx --image=nginx
  4. kubectl expose deployment nginx --port=80 --type=NodePort
  5. kubectl get pod,svc
  7. ### 访问地址：http://NodeIP:Port  
  8. http://192.168.204.135:30586/

9.1.5 部署dashboard

  1. docker pull sacred02/kubernetes-dashboard-amd64:v1.10.1
  2. docker tag sacred02/kubernetes-dashboard-amd64:v1.10.1 k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.1
  3. docker rmi sacred02/kubernetes-dashboard-amd64:v1.10.1
  4. kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
  6. ### 默认镜像国内无法访问，修改镜像地址为： lizhenliang/kubernetes-dashboard-amd64:v1.10.1
  8. ### 默认Dashboard只能集群内部访问，修改 Service 为 NodePort 类型，暴露到外部：
  10. kind: Service
  11. apiVersion: v1
  12. metadata:
  13.   labels:
  14.     k8s-app: kubernetes-dashboard
  15.   name: kubernetes-dashboard
  16.   namespace: kube-system
  17. spec:
  18.   type: NodePort
  19.   ports:
  20.     - port: 443
  21.       targetPort: 8443
  22.       nodePort: 30001
  23.   selector:
  24.     k8s-app: kubernetes-dashboard
  26. kubectl apply -f kubernetes-dashboard.yaml
  28. 访问地址：http://NodeIP:30001
  30. ### 创建service account并绑定默认cluster-admin管理员集群角色：
  32. kubectl create serviceaccount dashboard-admin -n kube-system
  33. kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
  34. kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
  36. 使用输出的token登录Dashboard。
  38. ### 更新https证书有效期，解决只能由火狐浏览器访问，其他浏览器无法访问问题
  39. ### https://www.cnblogs.com/xiajq/p/11322568.html
  41. mkdir key && cd key
  42. openssl genrsa -out dashboard.key 2048 
  44. openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=172.19.0.48'
  46. openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt 
  48. kubectl delete secret kubernetes-dashboard-certs -n kube-system
  50. kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.key --from-file=dashboard.crt -n kube-system  #新的证书
  52. kubectl delete pod kubernetes-dashboard-746dfd476-b2r5f -n kube-system    #重启服务

9.2 rancher安装k8s

  1. yum -y install docker-ce-18.06.1.ce-3.el7
  3. ## 18.06.1-ce
  5. wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
  6. yum makecache
  7. yum list docker-ce --showduplicates | sort -r
  9. yum    install docker-ce-18.09.1.ce-3.el7
  10. systemctl enable docker && systemctl start docker
  12. docker version
  14. rm -rf /opt/apps/rancher
  16. docker run -d --restart=unless-stopped -v /opt/apps/rancher:/var/lib/rancher/ -p 80:80 -p 443:443 rancher/rancher
  19. sudo docker run -d --privileged --restart=unless-stopped --net=host -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run rancher/rancher-agent:v2.4.5 --server https://192.168.204.222 --token 8jnbplvpmfh2whfl8vdjrlqzpnjj8nmvvxstrq9bkh7zc9d2g54xgm --ca-checksum 4cf464173b12436e203b80dc537a1db4543e87c6cf17c4a2e34bfde51b843c37 --node-name master222 --internal-address 192.168.204.222 --etcd --controlplane --worker
  21. sudo docker run -d --privileged --restart=unless-stopped --net=host -v /etc/kubernetes:/etc/kubernetes -v /var/run:/var/run rancher/rancher-agent:v2.4.5 --server https://192.168.204.222 --token xc8v54vtsfc4gv8x6lvzjsdh8l9h8jd6jgkvtngv9rc724fm96wqk2 --ca-checksum ca0c7092f76162c056f79a7bdffe439cdfd7f74b298e2831b3d9792f0fda798f --node-name master222 --internal-address 192.168.204.222 --etcd --controlplane --worker
  24. ## 镜像的导入和导出
  25. docker save rancher/rke-tools:v0.1.59 > tools.tar
  26. docker save rancher/coreos-etcd:v3.4.3-rancher1  > etcd.tar
  27. docker load < etcd.tar
  28. docker load < tools.tar

9.9 排除 001 cluster-dns问题

  1. 修改/usr/lib/systemd/system/kubelet.service  参数：cluster-dns  cluster-domain 
  2. kubectl  describe pod kubernetes-dashboard-746dfd476-mdv5n  -n kube-system
  4. ## 报错：kubelet does not have ClusterDNS IP configured and cannot create PodJ解决方案
  6. [root@VM_0_48_centos dashboard]# cat /usr/lib/systemd/system/kubelet.service
  7. [Unit]
  8. Description=Kubernetes Kubelet
  9. After=docker.service
  10. Requires=docker.service
  12. [Service]
  13. EnvironmentFile=/opt/kubernetes/cfg/kubelet
  14. ExecStart=/opt/kubernetes/bin/kubelet $KUBELET_OPTS
  15. Restart=on-failure
  16. KillMode=process
  18. [Install]
  19. WantedBy=multi-user.target
  22. [root@VM_0_48_centos dashboard]# cat /opt/kubernetes/cfg/kubelet
  23. KUBELET_OPTS="--logtostderr=true \
  24. --v=4 \
  25. --hostname-override=172.19.0.48 \
  26. --cluster-dns=10.0.0.2 \             ### 配置dns
  27. --cluster-domain=cluster.local \   ###配置域名
  28. --kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \
  29. --bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \
  30. --cert-dir=/opt/kubernetes/ssl \
  31. --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"
  33. 修改完以后，重启服务发现正常
  36. ## k8s dashboard 安装和证书更新
  37. https://www.cnblogs.com/xiajq/p/11322568.html
  40. ## Kubernetes的Deployment与ReplicaSet了解与基础操作
  41. https://cloud.tencent.com/developer/article/1347201
  42. Deployment是新一代用于Pod管理的对象，与Replication Controller相比，它提供了更加完善的功能，使用起来更加简单方便。
  44. ## 比较 Deployment 与 ReplicaSet
  45. 　　ReplicaSet 也是用来管理多个 Pod 的副本，那么 Deployment 和 ReplicaSet 的区别在哪里呢？
  46. 　　当我们创建了 Deployment 之后，实际上也创建了 ReplicaSet，所以说 Deployment 管理着 ReplicaSet（实际上 Deployment 比 ReplicaSet 有着更多功能）
  48. #Deployment 管理着 ReplicaSet，因此当 Deployment 伸缩时，由它管理的 ReplicaSet 也会发生伸缩：
  50. 但反过来，如果我们直接伸缩 ReplicaSet，那么 Deployment 也会相应发生伸缩吗？答案是不会的。
  52. kubectl  apply -f nginx-deployment.yaml
  54. kubectl  rollout status deployments nginx-deployment
  56. kubectl  edit deploy nginx-service
  58. kubectl  rollout history deployment nginx-service
  60. kubectl  rollout history deployment nginx-service --revision=2
  61. kubectl  rollout history deployment nginx-service --revision=1
  62. ## 假设我们想回滚到上一个版本，上一个版本的版本号是 1，那么可以执行：
  64. kubectl  rollout undo deployments nginx-service --to-revision=1
  66. ## k8s证书
  67. https://www.cnblogs.com/centos-python/articles/11043570.html
  69. ## k8s 使用篇 - deployment
  70. ## https://my.oschina.net/u/914655/blog/1635492
  71. ## https://blog.csdn.net/weixin_34268753/article/details/89586977
  72. Deployment管理Pods和ReplicaSets，提供声明式更新。和老的ReplicationController（命令式管理）对应，发展趋势是取代老的，所以后面也不会起文章单独讨论ReplicationController了。

项目实战

000 LVS+Keepalive双机热备

  1. ## keepalived工作原理  https://www.cnblogs.com/xiangsikai/p/8436431.html
  2. 　　keepalived是集群管理中保证集群高可用的一个服务软件，其功能类似于heartbeat，用来防止单点故障。
  4. 　　keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。
  6. 　　虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。
  8. 　　keepalived主要有三个模块，分别是core、check和vrrp。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。
  11. ## 安装keepalived
  12. yum -y install keepalived* ipvsadm
  13. ## 加载内核模块
  14. modprobe ip_vs
  15. ## 备份配置文件
  16. mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf_bak
  18. cat /etc/keepalived/keepalived.conf
  19. global_defs {
  20.     router_id LVS_TEST    #服务器名字
  21. }
  23. vrrp_instance VI_1 {
  24.     state MASTER    #配置主备，备用机此配置项为BACKUP
  25.     interface enp0s3    #指定接口
  26.     virtual_router_id 51    #指定路由ID，主备必须一样
  27.     priority 101    #设置优先级，主略高于备份
  28.     advert_int 1    #设置检查时间
  29.     authentication {
  30.         auth_type PASS    #设置验证加密方式
  31.         auth_type 1234    #设置验证密码
  32.     }
  33.     virtual_ipaddress {
  34.         192.168.31.200
  35.     }
  36. }
  38. virtual_server 192.168.31.200 80 {
  39.     delay_loop 3    #健康检查时间
  40.     lb_algo rr    #LVS调度算法
  41.     lb_kind DR   #LVS工作模式
  42.     !persistence 60    #是否保持连接，！不保持
  43.     protocol TCP    #服务采用TCP协议
  44.     real_server 192.168.31.113 80 {
  45.         weight 1    #权重
  46.         TCP_CHECK {    #TCP检查
  47.             connect_port 80   #检查端口80
  48.             connect_timeout 3    #超时时间3秒
  49.             nb_get_retry 3    #重试次数3次
  50.             delay_before_retry 4    #重试间隔4秒
  51.         }
  52.     }
  53.     real_server 192.168.31.150 80 {
  54.         weight 1
  55.         TCP_CHECK {
  56.             connect_port 80
  57.             connect_timeout 3
  58.             nb_get_retry 3
  59.             delay_before_retry 4
  60.         }
  61.     }
  62. }
  65. ## 启动keepalived
  66. systemctl restart keepalived && systemctl enable keepalived

001 haproxy+keepalived 基于四层

  1. ## https://www.cnblogs.com/MacoLee/p/5853356.html
  3.  HAProxy的balance8种负载均衡算法：
  4.    1.roundrobin : 基于权重轮循。
  5.    2.static-rr : 基于权重轮循。静态算法，运行时改变无法生效
  6.    3.source : 基于请求源IP的算法。对请求的源IP进行hash运算，然后将结果与后端服务器的权重总数想除后转发至某台匹配服务器。使同一IP客户端请求始终被转发到某特定的后端服务器。
  7.    4.leastconn : 最小连接。（适合数据库负载均衡，不适合会话短的环境） 
  8.    5.uri : 对部分或整体URI进行hash运算，再与服务器的总权重想除，最后转发到匹配后端。
  9.    6.uri_param : 根据URL路径中参数进行转发，保证在后端服务器数量不变的情况下，同一用户请求分发到同一机器。
  10.    7.hdr(<name>) : 根据http头转发，如果不存在http头。则使用简单轮循。

002 nginx+keepalived 基于七层

  1. ##

003 vue+git+docker+jenkins cicd

https://www.cnblogs.com/xiao987334176/p/12345304.html

004 Jenkins+Gitlab+Harbor+Rancher+k8s

https://www.cnblogs.com/xiao987334176/p/13074198.html

005 Docker通过EFK（Elasticsearch + Fluentd + Kibana）

https://www.cnblogs.com/xiao987334176/p/12376980.html

006 基于docker 搭建Prometheus+Grafana

  1. https://www.cnblogs.com/xiao987334176/p/9930517.html
  2. ## 几点思考
  3. 1、node 主机的自动发现，端口自动发现
  4. 2、redis 自动发现
  5. 3、mysql 自动发现
  6. 4、alertmanager

附： tips

001 时间格式化

  1. import datetime
  2. #获得当前时间
  3. now = datetime.datetime.now()  ->这是时间数组格式
  4. #转换为指定的格式:
  5. otherStyleTime = now.strftime("%Y%m%d_%H%M%S")
  7. import time
  8. now_time = time.strftime('%Y-%m-%d %H:%M:%S')
  10. ## bash
  11. Now_Time=`(date +%Y%m%d%H%M%S)`
  12. NowStamp=`(date +%s)`
  13. echo "当前时间和当前时间戳" $Now_Time $NowStamp

002 check_url.sh

  1. #!/bin/bash
  2. ####################################################
  3. # Author: channel
  4. # Github: https://github.com/yes5144
  5. # Time: 2018-03-10 16:05:56# Version: V1.0
  6. # Description: This is just a test scripts
  7. ####################################################
  8. . /etc/init.d/functions
  9. check_count=0
  10. url_list=(http://www.baidu.com http://192.168.204.123 http://www.google.cn)
  11. function wait(){
  12.     echo -n 'after 3 seconds, check url.'
  13.     for ((i=0;i<3;i++))
  14.     do
  15.         echo -n "."; sleep 1
  16.     done
  17.     echo ''
  18. }
  20. function check_url(){
  21.     wait
  22.     for ((i=0; i<`echo ${#url_list[*]}`; i++))
  23.     do
  24.         wget -o /dev/null -T 3 --tries=1 --spider ${url_list[$i]} >/dev/null 2>&1
  25.         if [ $? -eq 0 ]
  26.         then
  27.             action "${url_list[$i]}" /bin/true
  28.         else
  29.             action "${url_list[$i]}" /bin/false
  30.         fi
  31.     done
  32.     echo ''
  33.     ((check_count++))
  34. }
  36. main(){
  37.     while true
  38.     do
  39.         check_url
  40.         echo -e "\033[32m------- check count: ${check_count}-------\033[0m"
  41.         sleep 10
  42.     done
  43. }
  45. main

003 正则表达式（样例）

  1. ## sed正则表达式
  2. sed -e 's/:\+\s\+/:/' -e 's/ /_/g' -e '/^$/d' -e 's/[(%)]//g' -e '/^1/d' -e 's/[(*)]//g' /tmp/${RAND}.sql_out.temp > /tmp/${RAND}.sql_out.temp.1
  3. ## 后面还有一行：
  4. sed -ni 'H;${x;s/\n/ /g;p}' /tmp/${RAND}.sql_out.temp.1 
  6. -e 's/:\+\s\+/:/' -e 's/ /_/g' 把每一行 第一次出现的 "连续 n 个 : 及 后面的m个空格" 替换成 : , 再把这一行中剩余的类似匹配内容替换成 _ , 其中 n >= 1, m>=1
  7. 比如如果某行的内容是sss:: ppp: MMM则替换后变成sss:ppp_MMM
  9. ## 然后
  10. -e '/^$/d'删除空行
  11. ## 然后
  12. -e 's/[(%)]//g' 把每行出现的 ( 或者 % 或者 ) 字符全部删除,
  13. 比如abc()% 被替换成 abc
  14. ## 然后
  15. -e '/^1/d' 将 以字符 1 开头的行删除
  16. ## 最后
  17. -e 's/[(*)]//'把每行第一次出现的 ( 或者 * 或者 ) 字符删除.
  19. 注意,上面的每一个 -e 命令处理的对象都是前一条 -e 命令处理完后的结果.
  20. 所以假定有一个文件内容为
  21. abc #unchanged line
  22. sss:: ppp: (M%MM)zzz :::: end # change to sss:ppp_MMMzzz_end
  23. 1me #this line will be deleted
  24. 2123(* #change to 2123
  25. end of file #unchanged
  27. ## 经过上面的命令后,变成
  28. abc #unchanged line
  29. sss:ppp_M%MMzzz _end # change to sss:ppp_MMMzzz _end
  30. 2123 #change to 2123
  31. end of file #unchanged
  35. Now_Time=`(date +%Y%m%d%H%M%S)`
  36. NowStamp=`(date +%s)`
  37. echo "当前时间和当前时间戳" $Now_Time $NowStamp
  39. #grep
  40. grep -E '([0-9]{1,}\.){3,}([0-9]{1,})' version*.txt  --color
  41. #sed
  42. sed -i "s/\(\([0-9]\{1,\}\.\)\{3,\}\)\([0-9]\{1,\}\)/\1${Now_Time}/g" version*.txt

004 sh_echo_colorful.sh

  1. echo_r () {
  2.     [ $# -ne 1 ] && return 0
  3.     echo -e "\033[31m$1\033[0m"
  4. }
  5. echo_g () {
  6.     [ $# -ne 1 ] && return 0
  7.     echo -e "\033[32m$1\033[0m"
  8. }
  9. echo_y () {
  10.     [ $# -ne 1 ] && return 0
  11.     echo -e "\033[33m$1\033[0m"
  12. }
  13. echo_b () {
  14.     [ $# -ne 1 ] && return 0
  15.     echo -e "\033[34m$1\033[0m"
  16. }
  18. export PS1="\[$(tput bold)$(tput setab 0)$(tput setaf 1)\][\u@\h \W]# \[$(tput sgr0)\]"
  20. PS1='\[\e[37;1m\][\[\e[31;1m\]\u\[\e[34;1m\]@\[\e[32;1m\]\h \[\e[31;1m\]\w \[\e[33;1m\]\t\[\e[37;1m\]]\[\e[32;1m\]\$ \[\e[m\]'

004 shell log

  1. #/bin/bash
  2. sys_log="./test_log.log"
  4. # func of log
  5. #定义了三个级别的日志
  7. function log_info()
  8. {
  9.   local format_date=`date +%Y%m%d_%H%M%S`
  10.   local para=$1
  11.   echo "${format_date} [info] $1" >> $sys_log
  12. }
  14. function log_warn()
  15. {
  16.   local format_date=`date +%Y%m%d_%H%M%S`
  17.   local para=$1
  18.   echo "${format_date} [warn] $1" >> $sys_log
  19. }
  21. function log_err()
  22. {
  23.   local format_date=`date +%Y%m%d_%H%M%S`
  24.   local para=$1
  25.   echo "${format_date} [err] $1" >> $sys_log
  26. }
  28. #log_err "wo shi err"
  29. #log_info "wo shi info info"
  30. #log_warn "wo shi warn"

005 wireshark和Fiddler抓包

  1. Fiddler是在windows上运行的程序，专门用来捕获HTTP，HTTPS的。
  3. wireshark能获取HTTP，也能获取HTTPS，但是不能解密HTTPS，所以wireshark看不懂HTTPS中的内容
  5. 总结，如果是处理HTTP,HTTPS 还是用Fiddler,  其他协议比如TCP,UDP 就用wireshark
  6. https://www.cnblogs.com/TankXiao/archive/2012/10/10/2711777.html
  7. https://www.cnblogs.com/TankXiao/archive/2012/02/06/2337728.html
  9. https://my.oschina.net/u/658658/blog/417739
  11. ## Wireshark抓包分析——TCP/IP协议https://zhuanlan.zhihu.com/p/53338327
  12. ## Fiddler抓取Android真机上的HTTPS包https://www.cnblogs.com/taojietx/p/7286703.html
  13. ## Fiddler抓包工具总结https://www.cnblogs.com/yyhh/p/5140852.htmlhttps://www.dell.com/community/%E7%BB%BC%E5%90%88%E8%AE%A8%E8%AE%BA%E5%8C%BA/%E7%BD%91%E7%BB%9C%E5%9F%BA%E6%9C%AC%E5%8A%9F%E7%B3%BB%E5%88%97-%E7%BB%86%E8%AF%B4%E7%BD%91%E7%BB%9C%E9%82%A3%E4%BA%9B%E4%BA%8B%E5%84%BF-3%E6%9C%8826%E6%97%A5%E6%9B%B4%E6%96%B0/td-p/7045185
  15. ## wireshark包过滤
  16. ip.src==192.168.1.102 or ip.dst==192.168.1.102
  18. 1 过滤IP，如来源IP或者目标IP等于某个IP
  19. 如前面说的例子： ip.src==192.168.1.102 or ip.dst==192.168.1.102
  20. 比如TCP，只显示TCP协议。
  21. 2 过滤端口
  22. tcp.dstport == 80 // 只显tcp协议的目标端口80
  23. tcp.srcport == 80 // 只显tcp协议的来源端口80
  24. 也可以写成tcp.port eq 80 or udp.port eq 80 这样的模式
  25. 3 过滤协议
  26. 单独写上tcp、udp、xml、http就可以过滤出具体协议的报文。你也可以用tcp or xml这样格式来过滤。
  27. 我们还可以更加具体过滤协议的内容，如tcp.flags.syn == 0x02 表示显示包含TCP SYN标志的封包。
  28. 4 过滤mac地址
  29. eth.src eq A0:00:00:04:C5:84 // 过滤来源mac地址
  30. eth.dst==A0:00:00:04:C5:84 // 过滤目的mac地址
  31. 5 http模式过滤
  32. http.request.method == "GET"
  33. http.request.method == "POST"
  34. http.request.uri == "/img/logo-edu.gif"
  35. http contains "GET"
  36. http contains "HTTP/1."
  37. // GET包
  38. http.request.method == "GET" && http contains "Host: "
  39. http.request.method == "GET" && http contains "User-Agent: "
  40. // POST包
  41. http.request.method == "POST" && http contains "Host: "
  42. http.request.method == "POST" && http contains "User-Agent: "
  43. // 响应包
  44. http contains "HTTP/1.1 200 OK" && http contains "Content-Type: "
  45. http contains "HTTP/1.0 200 OK" && http contains "Content-Type: "
  46. 6 过滤内容
  47. contains：包含某字符串
  48. ip.src==192.168.1.107 and udp contains 02:12:21:00:22
  49. ip.src==192.168.1.107 and tcp contains "GET"
  50. 前面也有例子，http contains "HTTP/1.0 200 OK" && http contains "Content-Type: "
  52. https://blog.csdn.net/u014530704/article/details/78842000
  54. ## 抓包
  55. tcpdump -i ens33  host gc.hgame.com
  57. https://blog.csdn.net/weixin_40576010/article/details/99335491
  58. https://www.cnblogs.com/centos2017/p/7896658.html

005 抓包mimtproxy

  1. https://www.cnblogs.com/ITXiaoAng/p/11777060.html#%E4%B8%89%EF%BC%9A%E6%8A%93%E5%8C%85%E5%B7%A5%E5%85%B7mitmproxy%E5%85%8D%E8%B4%B9%E7%9A%84
  3. https://www.cnblogs.com/grandlulu/p/9525417.html
  5. https://blog.csdn.net/freeking101/article/details/83901842
  7. https://www.jianshu.com/p/0eb46f21fee9

005 tcpdump命令

  1. tcpdump -i eth0 -s 0 -l
  2. tcpdump -i eth0 -s 0 -l -w - |strings
  4. tcpdump -i ens33  host gc.hgame.com
  5. tcpdump -i eth0 -s 0 -l -w a.pcap src host 192.168.2.191 or dst host 192.168.2.191 
  7. ####
  8. ## 1.3 常用场景
  10. ### 1、获取10.1.85.21和10.1.85.19之间的通信，使用命令注意转义符号。
  11. tcpdump host 10.1.85.21 and \( 10.1.85.19\) -i ens5f0 -nn -c 10
  13. ### 2、获取从10.1.85.21发来的包。
  14. tcpdump src host 10.1.85.21 -c 10 -i ens5f1
  16. ### 3、监听tcp（udp）端口。
  17. tcpdump tcp port 22 -c 10
  19. ### 4、获取主机10.1.85.21和除10.1.85.19之外所有主机的通信。
  20. tcpdump ip host 10.1.85.21 and ! 10.1.85.19 -c 10 -i any
  22. ### 5、获取从10.1.85.19且端口主机到10.1.85.21主机的通信。
  24. tcpdump src host 10.1.85.19 and src port 48565 and dst host 10.1.85.21 and dst port 5090 -i any -c 10 -nn
  27. #################3
  28. ### 6、抓取所有经过 en0，目的或源地址是 10.37.63.255 的网络数据：
  29. tcpdump -i en0 host 10.37.63.255
  31. ### 7、抓取主机10.37.63.255和主机10.37.63.61或10.37.63.95的通信：
  32. tcpdump host 10.37.63.255 and \(10.37.63.61 or 10.37.63.95 \)
  34. ### 8、抓取主机192.168.13.210除了和主机10.37.63.61之外所有主机通信的数据包：
  35. tcpdump -n host 10.37.63.255 and ! 10.37.63.61
  37. ### 9、抓取主机10.37.63.255除了和主机10.37.63.61之外所有主机通信的ip包
  38. tcpdump ip -n host 10.37.63.255 and ! 10.37.63.61
  40. ### 10、抓取主机10.37.63.3发送的所有数据：
  41. tcpdump -i en0 src host 10.37.63.3 （注意数据流向）
  43. ### 11、抓取主机10.37.63.3接收的所有数据：
  44. tcpdump -i en0 dst host 10.37.63.3 （注意数据流向） 
  46. ### 12、抓取主机10.37.63.3所有在TCP 80端口的数据包：
  47. tcpdump -i en0 host 10.37.63.3 and tcp port 80
  49. ### 13、抓取HTTP主机10.37.63.3在80端口接收到的数据包：
  50. tcpdump -i en0 host 10.37.63.3 and dst port 80
  52. ### 14、抓取所有经过 en0，目的或源端口是 25 的网络数据
  53. tcpdump -i en0 port 25
  54. tcpdump -i en0 src port 25 # 源端口
  55. tcpdump -i en0 dst port 25网络过滤 # 目的端口
  57. ### 15、抓取所有经过 en0，网络是 192.168上的数据包
  58. tcpdump -i en0 net 192.168
  59. tcpdump -i en0 src net 192.168
  60. tcpdump -i en0 dst net 192.168
  61. tcpdump -i en0 net 192.168.1
  62. tcpdump -i en0 net 192.168.1.0/24
  64. ### 16、协议过滤
  65. tcpdump -i en0 arp
  66. tcpdump -i en0 ip
  67. tcpdump -i en0 tcp
  68. tcpdump -i en0 udp
  69. tcpdump -i en0 icmp
  71. ### 17、抓取所有经过 en0，目的地址是 192.168.1.254 或 192.168.1.200 端口是 80 的 TCP 数据
  72. tcpdump -i en0 '((tcp) and (port 80) and ((dst host 192.168.1.254) or (dst host 192.168.1.200)))'
  74. ### 18、抓取所有经过 en0，目标 MAC 地址是 00:01:02:03:04:05 的 ICMP 数据
  75. tcpdump -i eth1 '((icmp) and ((ether dst host 00:01:02:03:04:05)))'
  77. ### 19、抓取所有经过 en0，目的网络是 192.168，但目的主机不是 192.168.1.200 的 TCP 数据
  78. tcpdump -i en0 '((tcp) and ((dst net 192.168) and (not dst host 192.168.1.200)))'
  80. ### 20、只抓 SYN 包
  81. tcpdump -i en0 'tcp[tcpflags] = tcp-syn'
  83. ### 21、抓 SYN, ACK
  84. tcpdump -i en0 'tcp[tcpflags] & tcp-syn != 0 and tcp[tcpflags] & tcp-ack != 0'
  86. ### 22、抓 SMTP 数据，抓取数据区开始为"MAIL"的包，"MAIL"的十六进制为 0x4d41494c
  87. tcpdump -i en0 '((port 25) and (tcp[(tcp[12]>>2):4] = 0x4d41494c))'
  89. ### 23、抓 HTTP GET 数据，"GET "的十六进制是 0x47455420
  90. tcpdump -i en0 'tcp[(tcp[12]>>2):4] = 0x47455420'
  92. # 0x4745 为"GET"前两个字母"GE",0x4854 为"HTTP"前两个字母"HT"
  93. tcpdump  -XvvennSs 0 -i en0 tcp[20:2]=0x4745 or tcp[20:2]=0x4854
  95. ### 24、抓 SSH 返回，"SSH-"的十六进制是 0x5353482D
  96. tcpdump -i en0 'tcp[(tcp[12]>>2):4] = 0x5353482D'
  98. # 抓老版本的 SSH 返回信息，如"SSH-1.99.."
  99. tcpdump -i en0 '(tcp[(tcp[12]>>2):4] = 0x5353482D) and (tcp[((tcp[12]>>2)+4):2] = 0x312E)'
  101. ### 25、抓 DNS 请求数据
  102. tcpdump -i en0 udp dst port 53
  104. ### 26、用-c 参数指定抓多少个包
  105. time tcpdump -nn -i en0 'tcp[tcpflags] = tcp-syn' -c 10000 > /dev/null
  107. 上面的命令计算抓 10000 个 SYN 包花费多少时间，可以判断访问量大概是多少。
  109. ### 27、实时抓取端口号8000的GET包，然后写入GET.log
  110. tcpdump -i en0 '((port 8000) and (tcp[(tcp[12]>>2):4]=0x47455420))' -nnAl -w /tmp/GET.log
  112. 作者：道无虚
  113. 链接：https://www.jianshu.com/p/23427a80fc9d
  115. 作者：猿码架构
  116. 链接：https://www.jianshu.com/p/a62ed1bb5b20

006

007 压测

007 redis压测

  1. ## redis压测
  2. redis-cli --latency -h `host` -p `port`
  3. redis-cli --latency -h 10.10.10.210 -p 7379
  5. INFO commandstats

007 nginx压测

  1. bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095
  3. ab -n 1000 -c 100 http://www.load_balance.com/buy/ticket
  5. ## 配置负载均衡
  6. upstream load_rule {
  7.        server 127.0.0.1:3001 weight=1;
  8.        server 127.0.0.1:3002 weight=2;
  9.        server 127.0.0.1:3003 weight=3;
  10.        server 127.0.0.1:3004 weight=4;
  11.     }
  12.     ...
  13. server {
  14.     listen       80;
  15.     server_name  load_balance.com www.load_balance.com;
  16.     location / {
  17.        proxy_pass http://load_rule;
  18.     }
  19. }
  21. 统计日志中的结果，3001-3004 端口分别得到了 100、200、300、400 的请求量。这和我在 Nginx 中配置的权重占比很好的吻合在了一起，并且负载后的流量非常的均匀、随机。

008 虚拟内存使用排行

  1. for i in `cd /proc;ls |grep "^[0-9]"|awk ' $0 >100'` ;do awk '/Swap:/{a=a+$2}END{print '"$i"',a/1024"M"}' /proc/$i/smaps ;done |sort -k2nr|head
  3. for file in /proc/*/status ; do awk '/VmSwap|Name|^Pid/{printf $2 " " $3}END{ print ""}' $file; done | sort -k 3 -n -r | head
  6. free -m
  8. sync
  10. echo 3 > /proc/sys/vm/drop_caches
  12. free -m
  14. swapoff -a
  16. free -m
  18. swapon -a
  20. free -m

009 Linux端口预留

  1. # 预留端口避免占用ip_local_reserved_ports
  2. bl_ports=`egrep -o '=[0-9]{4,5}$'  /opt/www/*/*gs*/*server.conf |awk -F'=' '{print $NF}' |sort -n |uniq |xargs echo |sed 's/ /,/g'`
  3. sysctl -w net.ipv4.ip_local_reserved_ports=$bl_ports
  6. sysctl -w net.ipv4.ip_local_reserved_ports=11181,11281,12182
  7. echo "39003"  > /proc/sys/net/ipv4/ip_local_reserved_ports
  8. echo "39003,39004" >  /proc/sys/net/ipv4/ip_local_reserved_ports
  9. echo "39003-39004"  > /proc/sys/net/ipv4/ip_local_reserved_ports

010 清空memcache

  1. ## 清空memcache
  2. ### https://blog.csdn.net/hadeys/article/details/6217472
  3. echo "flush_all" | nc localhost 11211

011 redis 数据持久化

  1. ## Redis 五大数据类型有：
  2. String 类型，Hash 类型，List 类型，Set 类型，Zset（Sortedset）类型。其中常用的是前三个
  5. ## 数据安全 aof, rdb
  6. https://www.cnblogs.com/itdragon/p/7906481.html
  7. Redis 默认开启RDB持久化方式，在指定的时间间隔内，执行指定次数的写操作，则将内存中的数据写入到磁盘中。
  8. RDB 持久化适合大规模的数据恢复但它的数据一致性和完整性较差。
  9. Redis 需要手动开启AOF持久化方式，默认是每秒将写操作日志追加到AOF文件中。
  10. AOF 的数据完整性比RDB高，但记录内容多了，会影响数据恢复的效率。
  11. Redis 针对 AOF文件大的问题，提供重写的瘦身机制。
  12. 若只打算用Redis 做缓存，可以关闭持久化。
  13. 若打算使用Redis 的持久化。建议RDB和AOF都开启。其实RDB更适合做数据的备份，留一后手。AOF出问题了，还有RDB
  16. ## 内存淘汰策略
  17. 实际上Redis定义了几种策略用来处理这种情况：
  18. noeviction(默认策略)：对于写请求不再提供服务，直接返回错误（DEL请求和部分特殊请求除外）
  19. allkeys-lru：从所有key中使用LRU算法进行淘汰
  20. volatile-lru：从设置了过期时间的key中使用LRU算法进行淘汰
  21. allkeys-random：从所有key中随机淘汰数据
  22. volatile-random：从设置了过期时间的key中随机淘汰
  23. volatile-ttl：在设置了过期时间的key中，根据key的过期时间进行淘汰，越早过期的越优先被淘汰
  25. 作者：千山qianshan
  26. 链接：https://juejin.im/post/6844903927037558792
  27. 来源：掘金
  28. 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
  31. ## 缓存雪崩， 缓存穿透， 缓存

012 python常用pip模块

  1. cat  /root/.pip/pip.conf
  2. [global]
  3. index-url = http://mirrors.aliyun.com/pypi/simple/
  4. [install]
  5. trusted-host=mirrors.aliyun.com
  7. ## 运维
  8. os, commands, subprocess, logging, Jinja2, PyMySQL, redis, 
  10. ## 爬虫
  11. requests, bs4, selenium, pyquery
  13. ## 框架
  14. django, flask, fastapi,

012 pip使用指定源

  1. pip install flask
  3. pip install -i http://pypi.douban.com/simple/ --trusted-host=pypi.douban.com/simple ipython
  5. ## linux 添加pip源
  6. cat  ~/.pip/pip.conf
  7. [global]
  8. index-url = http://mirrors.aliyun.com/pypi/simple/
  9. [install]
  10. trusted-host=mirrors.aliyun.com

013 npm or yarn

  1. https://www.cnblogs.com/xifengxiaoma/tag/vue/
  3. https://www.cnblogs.com/xifengxiaoma/p/9533018.html
  4. npm install  => yarn install
  5. npm install --save [package] => yarn add [package]
  6. npm install --save-dev [package] => yarn add [package] --dev
  7. npm install --global [package] => yarn global add [package]
  8. npm uninstall --save [package] => yarn remove [package]
  9. npm uninstall --save-dev [package] => yarn remove [package]
  12. yarn add sass-loader node-sass --dev
  14. <style lang="scss">
  16. </style>
  18. yarn add mockjs --dev

014 查看zip包里面的文件和大小

  1. #!/usr/bin/env python
  2. import zipfile
  3. z = zipfile.ZipFile("test.zip","r")
  4. for filename in z.namelist():
  5.   print 'File:',filename,
  6.   bytes = z.read(filename)
  7.   print 'has',len(bytes),'bytes'

015 日志切割logrotate

  1. rpm -qf  /etc/logrotate.conf
  2. logrotate-3.7.8-26.el6_7.x86_64
  4. /opt/log/nginx/*.log
  5. {
  6.     daily
  7.     missingok
  8.     rotate 1
  9.     compress
  10.     notifempty
  11.     copytruncate
  12.     dateext
  13.     dateformat %Y-%m-%d
  14. }

016 xxx

017 xxx

018 xxx

019 获取git commit id

  1. https://blog.csdn.net/liurizhou/article/details/89234032
  3. git log  --pretty="%s"  -2
  5. git log  --pretty="%H"  -2
  6. git log  --pretty="%h"  -2

020 访问url 分阶段展示耗时

  1. # https://github.com/reorx/httpstat 
  2. # 以前遇到了一台服务器请求某个api很慢，怀疑是dns但是没有证据，这下让他无处遁形
  3. # wget https://raw.githubusercontent.com/reorx/httpstat/master/httpstat.py
  4. pip install httpstat
  5. python httpstat.py httpbin.org/get

021 MySQL binlog2sql 解析binlog

  1. https://github.com/danfengcao/binlog2sql
  3. ## 
  4. https://github.com/danfengcao/binlog2sql/blob/master/example/mysql-flashback-priciple-and-practice.md
  6. ## records
  7. https://github.com/kennethreitz-archive/records

022 InnoDB 和MyISAM 不同点

  1. MyISAM与InnoDB 的区别（9个不同点）
  3. 1. InnoDB支持事务，MyISAM不支持，对于InnoDB每一条SQL语言都默认封装成事务，自动提交，这样会影响速度，所以最好把多条SQL语言放在begin和commit之间，组成一个事务； 
  5. 2. InnoDB支持外键，而MyISAM不支持。对一个包含外键的InnoDB表转为MYISAM会失败
  6. 5. Innodb不支持全文索引，而MyISAM支持全文索引，在涉及全文索引领域的查询效率上MyISAM速度更快高；PS：5.7以后的InnoDB支持全文索引了
  8. 6. MyISAM表格可以被压缩后进行查询操作
  9. 7. InnoDB支持表、行(默认)级锁，而MyISAM支持表级锁
  10. 8、InnoDB表必须有主键（用户没有指定的话会自己找或生产一个主键），而Myisam可以没有
  11. 9、Innodb存储文件有frm、ibd，而Myisam是frm、MYD、MYI
  12.         Innodb：frm是表定义文件，ibd是数据文件
  13.         Myisam：frm是表定义文件，myd是数据文件，myi是索引文件

023 MySQL忘记密码

  1. vim /etc/my.cnf
  2. [mysqld]
  3. skip-grant-tables
  5. ### MySQL5.6
  6. UPDATE mysql.user SET Password = password('123456') WHERE User = 'root' ; 
  7. ### MySQL5.7
  8. update mysql.user set authentication_string=password('123qwe') where user='root' and Host = 'localhost';

024 MySQL审计 yearning

  1. ## https://www.jianshu.com/p/c9c3aaaf6e0b

025 Waiting for table flush 阻塞查询的问题

  1. ## https://blog.csdn.net/donghaixiaolongwang/article/details/76099697
  2. 2、易引发这种情况的操作
  3. 慢查询+FLUSH TABLES tbl_name, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE, orOPTIMIZE TABLE  这些操作。
  5. 例如：比如在mysqldump、innobackupex进行备份时就很有可能引发这种情况。
  7. 3、解决方案
  8. 找出慢查询kill掉，并进行SQL优化防止再次引发。
  10. 4、预防措施
  11. 在业务高峰期不要对数据库进行FLUSH TABLES tbl_name, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE, orOPTIMIZE TABLE 这些操作。
  13. 备份、DDL语句等操作尽量避开业务高峰。
  14. ### 
  15. SELECT CONCAT('kill  ',id,';') from PROCESSLIST WHERE state ='updating' and (info like "%xxxx_server_info%" and info like "update%") limit 50

026 mysql时间

  1. ## 1、当前日期
  2. select DATE_SUB(curdate(),INTERVAL 0 DAY) ;
  3. ## 2、明天日期
  4. select DATE_SUB(curdate(),INTERVAL -1 DAY) ;
  5. ## 3、昨天日期
  6. select DATE_SUB(curdate(),INTERVAL 1 DAY) ;
  7. ## 4、前一个小时时间
  8. select date_sub(now(), interval 1 hour);
  9. ## 5、后一个小时时间
  10. select date_sub(now(), interval -1 hour);
  11. ## 6、前30分钟时间
  12. select date_add(now(),interval -30 minute)
  13. ## 7、后30分钟时间
  14. select date_add(now(),interval 30 minute)
  15. ## 8、取得当天：
  16. SELECT curdate();

027

028

029

030

031

032

033

034

035

036

037

038

039

040

041

042

043

044

045

046

047

048

049

050 前端

  1. ## bootstrap
  2. https://www.runoob.com/bootstrap/bootstrap-affix-plugin.html
  3. https://www.w3cschool.cn/bootstrap/html-css-bootstrap-radiobutton.html
  5. ## jQuery 加载 json 数据
  6. https://www.cnblogs.com/aademeng/articles/9788385.html
  8. ## jQuery 添加元素
  9. https://www.runoob.com/jquery/jquery-dom-set.html
  11. ## ant-design
  12. https://www.yuque.com/ant-design/course/wybhm9
  14. ## gin
  15. https://book.eddycjy.com/golang/gin/log.html
  17. ## vue
  18. https://github.com/opendigg/awesome-github-vue

051 vue动态菜单

  1. ## https://www.cnblogs.com/woai3c/p/11052975.html
  3.     <!-- 动态菜单 -->
  4.     <div v-for="(item, index) in menuItems" :key="index">
  5.         <Submenu v-if="item.children" :name="index">
  6.             <template slot="title">
  7.                 <Icon :size="item.size" :type="item.type"/>
  8.                 <span v-show="isShowAsideTitle">{{item.text}}</span>
  9.             </template>
  10.             <div v-for="(subItem, i) in item.children" :key="index + i">
  11.                 <Submenu v-if="subItem.children" :name="index + '-' + i">
  12.                     <template slot="title">
  13.                         <Icon :size="subItem.size" :type="subItem.type"/>
  14.                         <span v-show="isShowAsideTitle">{{subItem.text}}</span>
  15.                     </template>
  16.                     <MenuItem class="menu-level-3" v-for="(threeItem, k) in subItem.children" :name="threeItem.name" :key="index + i + k">
  17.                         <Icon :size="threeItem.size" :type="threeItem.type"/>
  18.                         <span v-show="isShowAsideTitle">{{threeItem.text}}</span>
  19.                     </MenuItem>
  20.                 </Submenu>
  21.                 <MenuItem v-else v-show="isShowAsideTitle" :name="subItem.name">
  22.                     <Icon :size="subItem.size" :type="subItem.type"/>
  23.                     <span v-show="isShowAsideTitle">{{subItem.text}}</span>
  24.                 </MenuItem>
  25.             </div>
  26.         </Submenu>
  27.         <MenuItem v-else :name="item.name">
  28.             <Icon :size="item.size" :type="item.type" />
  29.             <span v-show="isShowAsideTitle">{{item.text}}</span>
  30.         </MenuItem>
  31.     </div>

052

053

054

055

056

057

058

059

060 python 第三方包制作

  1. ## Python 第三方包制作教程
  2. https://www.cnblogs.com/streakingBird/p/4056765.html
  4. https://www.jianshu.com/p/19f1e564a29d
  5. https://www.cnblogs.com/panwenbin-logs/p/13219332.html
  6. https://www.jianshu.com/p/c6055e8873ee
  8. Django 中使用 ajax 请求的正确姿势
  10. ## git 0基础入门—git入门与实践（1）—详细图解git安装详情及超详细的入门介绍！（2020.06.30更新）
  11. https://blog.csdn.net/u013946061/article/details/107023191
  12. git config --globe user.email “xxx@example.com”
  13. --globe 代表全局设置，即设置一次就够了。
  14. git config --globe user.name "张三"
  16. git config --global -l
  18. git commit -a -m "描述" 从工作目录提交到暂存区后，直接提交
  20. ## golang prometheus
  21. ### Go开发属于自己的exporter
  22. https://blog.csdn.net/weixin_45413603/article/details/107024467
  23. ### 使用golang编写Prometheus Exporter
  24. https://blog.csdn.net/u014029783/article/details/80001251
  25. ### prometheus数据采集exporter全家桶
  26. https://blog.csdn.net/weixin_34212189/article/details/91673377
  28. 名称.(type)用于类型查询,
  29. 名称.(具体类型)用于类型转换
  31. ## Google Protobuf简明教程
  32. https://www.jianshu.com/p/b723053a86a6
  34. ## python 操作protobuf
  35. https://www.jianshu.com/p/091b99beb6bc

061 python ‘is’ 和 ‘==’ 区别

  1. https://www.cnblogs.com/CheeseZH/p/5260560.html
  3. 在讲is和==这两种运算符区别之前，首先要知道Python中对象包含的三个基本要素，分别是：id(身份标识)、type(数据类型)和value(值)。
  4. 1, is 是进行id的比较，== 是进行value的比较。
  5. 2, 只有数值型情况下is和==可通用，当字符串中包含非数字或字母字符时，值比较就不能用is只能用==了。
  7. 我们在检查 a is b 的时候，其实相当于检查 id(a) == id(b)。而检查 a == b 的时候，实际是调用了对象 a 的 __eq()__ 方法，a == b 相当于 a.__eq__(b)。
  9. Python里和None比较时，为什么是 is None 而不是 == None 呢？
  11. 这是因为None在Python里是个单例对象，一个变量如果是None，它一定和None指向同一个内存地址。而 == None背后调用的是__eq__，而__eq__可以被重载，下面是一个 is not None但 == None的例子
  13. 连接字符串的时候可以用join也可以用+，但这两者有没有区别呢？
  14. join的性能明显好于+。这是为什么呢？
  15. 而join在连接字符串的时候，会先计算需要多大的内存存放结果，然后一次性申请所需内存并将字符串复制过去，这是为什么join的性能优于+的原因。所以在连接字符串数组的时候，我们应考虑优先使用join。
  17. https://zhuanlan.zhihu.com/p/93775624

061 python 深浅拷贝

  1. 浅拷贝和深拷贝的区别是：浅拷贝只是将原对象在内存中引用地址拷贝
  3. 而深拷贝是将这个对象的所有内容拷贝过来了，包括值与内存地址

061 python闭包

  1. # http://c.biancheng.net/view/5335.html
  2. 不过使用闭包，可以让程序变得更简洁易读。
  3. # https://zhuanlan.zhihu.com/p/22229197
  4. 闭包：就是在一个外函数中定义了一个内函数，内函数里运用了外函数的临时变量，并且 外函数的返回值是内函数的引用。
  5. 闭包概念：在一个内部函数中，对外部作用域的变量进行引用，(并且一般外部函数的返回值为内部函数)，那么内部函数就被认为是闭包。
  6. flist =[]
  7. for i in xrange(3):
  8.     def func(x):
  9.         return x*i
  10.     first.append(func)
  12. for f in flist:
  13.     print(f(2))
  15. # 2
  16. flist=[]
  17. for i in xrange(3):
  18.     def makefunc(i):
  19.         def func(x):
  20.             return x*i
  21.         return func
  22.     flist.append(makefunc(i))
  24. for f in flist:
  25.     print(f(2))
  28. 装饰器(本质就是闭包)：主要作用为已经存在的对象添加额外的功能，例如日志记录、数据校验等。

061 python 生成器和迭代器

  2. ## 列表推导式
  4. ## django 字典推导式
  5. kwargs ={key: request.POST.get(key) for key in ("motto","region","pic") if request.POST.get(key)}

061 python 魔法

  1. __init__我们很熟悉了,它在对象初始化的时候调用,我们一般将它理解为"构造函数".
  3. __new__

061 python 封装、继承和多态

  1. dd

062 python 模块

  1. ##

062 python多线/进程

在 Python 3.2 以后，concurrent.futures是内置的模块，我们可以直接使用。 如果你需要在 Python 2.7 中使用 concurrent.futures , 那么请用 pip 进行安装， pip install futures

  1. ## https://www.cnblogs.com/huchong/p/7459324.html
  3. from concurrent.futures import ProcessPoolExecutor
  4. import os,time,random
  5. def task(n):
  6.     print('%s is running' %os.getpid())
  7.     time.sleep(2)
  8.     return n**2
  10. if __name__ == '__main__':
  11.     p=ProcessPoolExecutor()  #不填则默认为cpu的个数
  12.     l=[]
  13.     start=time.time()
  14.     for i in range(10):
  15.         obj=p.submit(task,i)   #submit()方法返回的是一个future实例，要得到结果需要用obj.result()
  16.         l.append(obj)
  17.         p.shutdown()        #类似用from multiprocessing import Pool实现进程池中的close及join一起的作用
  18.         print('='*30)    # print([obj for obj in l])
  19.         print([obj.result() for obj in l])
  20.     print(time.time()-start)
  22.     #上面方法也可写成下面的方法
  23.     # start = time.time()
  24.     # with ProcessPoolExecutor() as p:   #类似打开文件,可省去.shutdown()
  25.     #     future_tasks = [p.submit(task, i) for i in range(10)]
  26.     # print('=' * 30)
  27.     # print([obj.result() for obj in future_tasks])
  28.     # print(time.time() - start)

062 re模块

  1. ## re
  2. import re
  3. b = "<p>我是测试文本<br/></p><p>我是测试文本\n  \n<br/></p>"
  4. c = re.sub('<[^<]+?>', '', b).replace('\n', '').strip()
  5. print(c)
  7. d = re.findall(r'p>(.*?)</p', b, re.S)
  8. print(d)

063 API的调用

  1. ##

063 salt-api

063 es-api

063 zabbix-api

064 shutil压缩处理

  1. #shutil 对压缩包的处理是调用 ZipFile 和 TarFile 两个模块来进行的，详细：
  3. #zipfile 压缩解压
  4. # https://www.cnblogs.com/xiangsikai/p/7787101.html
  6. import zipfile
  8. # 压缩
  9. z = zipfile.ZipFile('laxi.zip', 'w')
  10. z.write('a.log')
  11. z.write('data.data')
  12. z.close()
  14. # 解压
  15. z = zipfile.ZipFile('laxi.zip', 'r')
  16. z.extractall()
  17. z.close()

065

066

067

068

069

070 golang

  1. ## aliyun tools
  2. https://help.aliyun.com/learn/tool.html
  4. ## Go类型专题总结
  5. https://blog.csdn.net/YongYu_IT/article/details/90711434
  7. ## Go的&*
  8. https://blog.csdn.net/fujian9544/article/details/100110011
  10. ## Golang 中的指针 - Pointer
  11. https://blog.csdn.net/weixin_30323961/article/details/96412686
  13. ## [日常] Go语言圣经-Slice切片习题
  14. https://www.cnblogs.com/taoshihan/p/8797499.html
  16. https://www.cnblogs.com/majianguo/p/8186429.html

071

072

073

074

075

076

077

078

079

080 jvm内存优化

  2. 堆(Heap)和非堆(Non-heap)内存
  3.     按照官方的说法：“Java 虚拟机具有一个堆，堆是运行时数据区域，所有类实例和数组的内存均从此处分配。堆是在 Java 虚拟机启动时创建的。”“在JVM中堆之外的内存称为非堆内存(Non-heap memory)”。可以看出JVM主要管理两种类型的内存：堆和非堆。简单来说堆就是Java代码可及的内存，是留给开发人员使用的；非堆就是JVM留给 自己用的，所以方法区、JVM内部处理或优化所需的内存(如JIT编译后的代码缓存)、每个类结构(如运行时常数池、字段和方法数据)以及方法和构造方法 的代码都在非堆内存中。
  4. 堆内存分配
  5.     JVM初始分配的内存由-Xms指定，默认是物理内存的1/64；JVM最大分配的内存由-Xmx指 定，默认是物理内存的1/4。默认空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制；空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制。因此服务器一般设置-Xms、-Xmx相等以避免在每次GC 后调整堆的大小。
  6. 非堆内存分配
  7.     JVM使用-XX:PermSize设置非堆内存初始值，默认是物理内存的1/64；由XX:MaxPermSize设置最大非堆内存的大小，默认是物理内存的1/4。
  8. JVM内存限制(最大值)
  9.     首先JVM内存限制于实际的最大物理内存(废话！呵呵)，假设物理内存无限大的话，JVM内存的最大值跟操作系统有很大的关系。简单的说就32位处理器虽然 可控内存空间有4GB,但是具体的操作系统会给一个限制，这个限制一般是2GB-3GB（一般来说Windows系统下为1.5G-2G，Linux系统 下为2G-3G），而64bit以上的处理器就不会有限制了。
  11. https://blog.csdn.net/cutesource/article/details/5907418
  12. ## tomcat优化
  13. https://www.cnblogs.com/jojoword/p/10835112.html

081 jar Illegal key size

  1. 报错描述：java.security.InvalidKeyException: Illegal key size
  2. 原因分析：JRE中自带的“local_policy.jar ”和“US_export_policy.jar”是支持128位密钥的加密算法，而当我们要使用256位密钥算法的时候，已经超出它的范围，无法支持
  4. 解决方案：1、## https://blog.csdn.net/dling8/article/details/84061948
  5.           2、升级jdk，比如 java version "1.8.0_74" 升级到 java version "1.8.0_261"
  7. 参考链接：https://stackoverflow.com/questions/6481627/java-security-illegal-key-size-or-default-parameters
  9. 摘要说明：Make sure you use the latest version of JDK/JRE.
  10. In my case, I had put JCE into JRE folder, but it didn't help. It happened because I was running my project from the IDE directly (using JDK).
  11. Then I updated my JDK and JRE to the latest version (1.8.0_211) and the problem had gone.

082

083

084

085

086

087

088

089

090 阿里云 k8s

  1. 阿里云 k8s
  3. ACK 容器服务Kubernetes版
  4. ASK 
  6. ACR 容器镜像服务（Alibaba Cloud Container Registry）
  8. ECI 弹性容器实例ECI
  11. 高可用
  13. 自动扩容 缩容
  14. https://help.aliyun.com/learn/tool.html

091

092

093

094

095

096

097 鸡汤几句

  1. 写计划或者一些鼓励自己的话贴在显示器上时时看到，做一条划掉一条，特别有成就感！
  3. 所以作为老板，他最希望的事就是自己能帮助到团队里每个员工，能为员工协调资源，能把控风险，掌控大局，最终把事情做好，这样老板自己也能出成绩得到晋升。
  5. 如果你能从个人的能力出发，变成了个人的竞争力，再进一步变成了企业的竞争力，这是一件喜闻乐见的事，也是领导想看到的。
  7. 你主动展现出愿意承担更多、学习更多的东西的意愿，老板才会把更多的责任交到你的手里面。
  9. 所以主动思考，抓住表达红利，你的想法才会得到组织支持和资源支持，相应的你自己也能够实现升职加薪。
  11. 凡事有交代，件件有着落，事事有回音
  13. 怎么做一个踏实靠谱的人呢？你应该做到凡事有交代, 件件有着落, 事事有回音

097 鸡汤2

  1. “我当时没什么自信”，回忆起来那段经历，他这样说。
  2. 既然改变已经发生了，那就尽力做好。没有自信，可以建立自信，没有武功，可以从零学起。
  4. 他在“绝情谷底”总结了三条生存法则：
  5. 1，不要多想，直接去做，反正也没有时间想别的；
  6. 2，不敢演讲，那就多练 ，反正客户等着，不讲也不行；
  7. 3，不断提高，那就多学，反正总有建（tiao）议（ti）和反（tu）馈（cao）。
  8. 他为自己设立了一个目标，一周演讲两次，这样一年下来就讲了三四十次。时间长了，突然有一天，他发现自己在人前讲话不紧张了。
  10. 那时感觉自己是被逼的，不过现在挺感谢逼我的人，当时在不确定的情况下我只想一件事情，那就是把手头的事情做好。做着做着就发现，原来我真的可以做的很好。
  12. 自信就这么来了。这个人叫格茸扎西。
  14. 作者：ThoughtWorks中国
  15. 链接：https://www.zhihu.com/question/48406009/answer/155374291

098 几个链接

  1. ## MySQL 三万字精华总结 + 面试100 问
  2. https://www.jianshu.com/p/24e1179ef563
  4. ## 阿里巴巴为什么能抗住90秒100亿？
  5. https://www.jianshu.com/p/f4a907fe1485
  7. ## 终于有人把 Docker 讲清楚了，万字详解！
  8. https://www.jianshu.com/p/b650b5521d7d
  10. ## 当初我要是这么学习Nginx就好了！
  11. https://www.jianshu.com/p/e90050dc89b6
  13. ## 高并发与高可用知识总结
  14. https://www.cnblogs.com/xuwc/p/9138585.html

098 高并发

  1. 高并发架构相关概念
  2. https://www.cnblogs.com/-mrl/p/13234927.html
  4. 高并发解决方案
  5. https://www.cnblogs.com/cn-sbo/p/10853469.html
  7. java高并发解决方案
  8. https://www.cnblogs.com/alex96/p/12152388.html

099 Github上有趣的100个python项目

  1. ## Github上有趣的100个python项目
  2. https://www.jianshu.com/p/d74659727d26
  4. ## https://github.com/kennethreitz-archive/records
  6. ## https://github.com/hangsz/pandas-tutorial
  8. ## https://github.com/xianhu/LearnPython
  10. ## https://github.com/danfengcao/binlog2sql
  12. ## https://github.com/tldr-pages/tldr-python-client
  14. ## https://github.com/Delgan/loguru

100 运维技能0-1 设计落地方案

100.1 linux安全

100.2 linux 压测

100.3 nginx 动态负载均衡

100.4 k8s

100.5 salt-ssh 实现批量安装salt-minion

100.6 巡检模板

yd-mongo迁移到阿里云

  1. ## 几个概念
  2. # databases, collection, ducument, index
  3. # databases, table,  record, index
  4. https://www.cnblogs.com/clsn/p/8244206.html
  5. https://www.cnblogs.com/shaosks/p/9318209.html
  7. ## 备份
  8. mongodump -h dbhost -d dbname -o dbdirectory
  9. mongodump -h 192.168.1.18:27017 -d smp_maint_2 -o /opt/backup_data/mongo/momgodump
  10. ## 恢复
  11. mongorestore -h dbhost -d dbname --dir dbdirectory  # xxx.bson的目录名
  12. mongorestore -h 192.168.1.18:27017 -d smp_maint_2_restore --dir /opt/backup_data/mongo/momgodump/test
  15. ## 其他导入导出
  16. #https://www.cnblogs.com/clsn/p/8244206.html
  17. ### 默认导出了JSON格式的数据
  18. mongoexport -h 10.0.0.152:27017 -uroot -proot --authenticationDatabase admin -d app -c vast -o /home/mongod/backup/vasts.dat
  20. mongoexport -h 10.0.0.152:27017 -uroot -proot --authenticationDatabase admin  -d app -c vast --type=csv -f id,name -o /home/mongod/backup/vast_csv.dat
  22. mongoimport -h 10.0.0.152:27017 -uroot -proot --authenticationDatabase admin  -d app -c vast  --drop /home/mongod/backup/vasts.dat
  24. mongoimport -h 10.0.0.152:27017 -uroot -proot --authenticationDatabase admin -d app -c vast --type=csv --headerline --file vast_csv.dat
  26. ## mongoexport/mongoimport与mongodump/mongorestore的对比
  27. mongoexport/mongoimport导入/导出的是JSON格式，而mongodump/mongorestore导入/导出的是BSON格式。
  28. JSON可读性强但体积较大，BSON则是二进制文件，体积小但对人类几乎没有可读性。
  29. 在一些mongodb版本之间，BSON格式可能会随版本不同而有所不同，所以不同版本之间用mongodump/mongorestore可能不会成功，具体要看版本之间的兼容性。当无法使用BSON进行跨版本的数据迁移的时候，使用JSON格式即mongoexport/mongoimport是一个可选项。跨版本的mongodump/mongorestore并不推荐，实在要做请先检查文档看两个版本是否兼容（大部分时候是的）。
  30. JSON虽然具有较好的跨版本通用性，但其只保留了数据部分，不保留索引，账户等其他基础信息。使用时应该注意。
  31. ## 授权
  33. ## 分片
  34. https://blog.csdn.net/tanga842428/article/details/52584770?locationNum=9&fps=1

yd-MySQL迁移到阿里云

yd-传统java应用上阿里k8s

yd-阿里云监控