第33章-过期窗口清理与过载超时(V0.5)

本节为idle过期窗口清理与overload过载超时机制。
    假设节点h长期处于idle，已经累计`vsucc = 100000, err = 0`；此时突然h过载，API调用产生了大量的错误，假设汇报了500个失败，于是`verr = 500`，此时节点的失败率0.5%，尚未被判定为过载；且因为之前长期运行的成功个数太多，使得需要更多的错误汇报才会让LB感知到h过载

将idle节点每隔一定时间（默认15s）重置为idle初始状态（vsucc = 270, verr = 0）
于是将节点的运行情况按照15s分隔，我们永远只关注当前15s内此节点的状态，于是过载的节点将会被更快感知.

    首先，我们在配置文件中加入一些参数。

lars_loadbalance_agent/conf/lars_lb_agent.conf

;整个窗口的真实失败率阈值
window_err_rate=0.7
;对于某个modid/cmdid下的某个idle状态的host，需要清理一次负载信息的周期
idle_timeout=15
;对于某个modid/cmdid/下的某个overload状态的host，在过载队列等待的最大时间
overload_timeout=15

    我们在配置文件加载的时候，将这几个参数一并加载。

lars_loadbalance_agent/include/main_server.h

#pragma once
#include "lars_reactor.h"
#include "lars.pb.h"
#include "route_lb.h"
struct load_balance_config
{
    //经过若干次获取请求host节点后，试探选择一次overload过载节点
    int probe_num; 
    //初始化host_info主机信息访问成功的个数，防止刚启动时少量失败就认为过载
    int init_succ_cnt;
    //当idle节点切换至over_load时的初始化失败次数，主要为了累计一定成功次数才能切换会idle
    int init_err_cnt;
    //当idle节点失败率高于此值，节点变overload状态
    float err_rate;
    //当overload节点成功率高于此值，节点变成idle状态
    float succ_rate;
    //当idle节点连续失败次数超过此值，节点变成overload状态
    int contin_err_limit;
    //当overload节点连续成功次数超过此值, 节点变成idle状态
    int contin_succ_limit;
    //当前agent本地ip地址(用于上报 填充caller字段)
    uint32_t local_ip;
// *************************************
    //整个窗口的真实失败率阈值
    float window_err_rate;
    //对于某个modid/cmdid下的某个idle状态的host，需要清理一次负载信息的周期
    int idle_timeout;
    //对于某个modid/cmdid/下的某个overload状态的host，在过载队列等待的最大时间
    int overload_timeout;
};
// *************************************

lars_loadbalance_agent/src/main_server.cpp

static void init_lb_agent()
{
    //1. 加载配置文件
    config_file::setPath("./conf/lars_lb_agent.conf");
    lb_config.probe_num = config_file::instance()->GetNumber("loadbalance", "probe_num", 10);
    lb_config.init_succ_cnt = config_file::instance()->GetNumber("loadbalance", "init_succ_cnt", 180);
    lb_config.init_err_cnt = config_file::instance()->GetNumber("loadbalance", "init_err_cnt", 5);
    lb_config.err_rate = config_file::instance()->GetFloat("loadbalance", "err_rate", 0.1);
    lb_config.succ_rate = config_file::instance()->GetFloat("loadbalance", "succ_rate", 0.92);
    lb_config.contin_succ_limit = config_file::instance()->GetNumber("loadbalance", "contin_succ_limit", 10);
    lb_config.contin_err_limit = config_file::instance()->GetNumber("loadbalance", "contin_err_limit", 10);
  //*******************************************
    lb_config.window_err_rate = config_file::instance()->GetFloat("loadbalance", "window_err_rate", 0.7);
    lb_config.idle_timeout = config_file::instance()->GetNumber("loadbalance", "idle_timeout", 15);
    lb_config.overload_timeout = config_file::instance()->GetNumber("loadbalance", "overload_timeout", 15);
  //*******************************************
    //2. 初始化3个route_lb模块
    create_route_lb();
    //3. 加载本地ip
    char my_host_name[1024];
    if (gethostname(my_host_name, 1024) == 0) {
        struct hostent *hd = gethostbyname(my_host_name);
        if (hd)
        {
            struct sockaddr_in myaddr;
            myaddr.sin_addr = *(struct in_addr*)hd->h_addr;
            lb_config.local_ip = ntohl(myaddr.sin_addr.s_addr);
        }
    }
    if (!lb_config.local_ip)  {
        struct in_addr inaddr;
        inet_aton("127.0.0.1", &inaddr);
        lb_config.local_ip = ntohl(inaddr.s_addr);
    }
}

    接下来我们要在load_balance进行`report()`的时候，之后可以触发判定

lars_loadbalance_agent/src/load_balance.cpp

//上报当前host主机调用情况给远端repoter service
void load_balance::report(int ip, int port, int retcode)
{
    //定义当前时间
    long current_time = time(NULL);
        //...
      //...
    // 窗口检查和超时机制 
    if (hi->overload == false) {
        //节点是idle状态
        if (current_time - hi->idle_ts >= lb_config.idle_timeout) {
            //时间窗口到达，需要对idle节点清理负载均衡数据
            if (hi->check_window() == true)   {
                //将此节点 设置为过载
                struct in_addr saddr;
                saddr.s_addr = htonl(hi->ip);
                printf("[%d, %d] host %s:%d change to overload cause windows err rate too high, read succ %u, real err %u\n",
                        _modid, _cmdid, inet_ntoa(saddr), hi->port, hi->rsucc, hi->rerr);
                //设置为overload状态
                hi->set_overload();
                //移出_idle_list,放入_overload_list
                _idle_list.remove(hi);
                _overload_list.push_back(hi);
            }
            else {
                //重置窗口,回复负载默认信息
                hi->set_idle();
            }
        }
    }
    else {
        //节点为overload状态
        //那么处于overload的状态时间是否已经超时
        if (current_time - hi->overload_ts >= lb_config.overload_timeout) {
            struct in_addr saddr;
            saddr.s_addr = htonl(hi->ip);
            printf("[%d, %d] host %s:%d reset to idle, vsucc %u,  verr %u\n",
                    _modid, _cmdid, inet_ntoa(saddr), hi->port, hi->vsucc, hi->verr);
            hi->set_idle();
            //移出overload_list, 放入_idle_list
            _overload_list.remove(hi);
            _idle_list.push_back(hi);
        }
    }
}

    每次report之前都会记录一个当前时间，那么如果当前时间超过一定时间，`idle`和`overload`节点都会进行一次判定。
    **idle**

1. 如果当前时间超过idle的判定时间周期，需要坚持是否触发窗口条件check_windows()

   lars_loadbalance_agent/src/host_info.cpp

1. 如果idle节点超过窗口的错误率判断，那么需要更改idle状态为overload
2. 将idle从idle_list摘掉，放在overload_list中。
   overload
   如果overload节点超过指定时间，那么需要将overload节点切换为idle，重新放回idle_list中。