30.1 基础

  1.     每个模块`modid/cmdid`下有若干节点，节点的集合称为此模块的路由； 对于每个节点，有两种状态：
  • idle：此节点可用，可作为API(相当于Agent的客户端)请求的节点使用；
  • overload：此节点过载，暂时不可作为API请求的节点使用
    在请求节点时，有几个关键属性：
  • 虚拟成功次数vsucc，API汇报节点调用结果是成功时，该值+1
  • 虚拟失败次数verr，API汇报节点调用结果是失败时，该值+1
  • 连续成功次数contin_succ，连续请求成功的次数
  • 连续失败次数contin_err，连续请求失败的次数

这4个字段，在节点状态改变时(idle<—>overload)，会被重置。

30.2 调度方式

  • 图1
    4-Lars-agent.png
  • 图2
    5-Lars-algorithm.png

如图所示，整体的调度节点的方式大致如下。这里每个节点就是一个Host主机信息，也就是我们需要被管理的主机信息，一个主机信息应该包括基本的ip和port还有一些其他属性。

如图1，API相当于我们的Agent模块的客户端，也是业务端调用的请求主机接口。 API发送GetHost请求，发送给Agent的server端，传递信息包括modID/cmdID. AgentServer 使用UDPserver处理的API网络请求，并且交给了某个”负载均衡算法”.

如图2，一个负载均衡算法，我们称之为是一个”load balance”, 一个”load balance”对应针对一组modID/cmdID下挂在的全部host信息进行负载。每个”load balance”都会有两个节点队列。一个队列是”idle_list”，存放目前可用的Host主机信息(ip+port), 一个队列是”overload_list”,存放目前已经过载的Host主机信息(ip+port).

当API对某模块发起节点获取时：

  • Load Balance从空闲队列拿出队列头部节点，作为选取的节点返回，同时将此节点重追到队列尾部；
  • probe机制 ：如果此模块过载队列非空，则每经过probe_num次节点获取后（默认=10），给过载队列中的节点一个机会，从过载队列拿出队列头部节点，作为选取的节点返回，让API试探性的用一下，同时将此节点重追到队列尾部；
  • 如果空闲队列为空，说明整个模块过载了，返回过载错误；且也会经过probe_num次节点获取后（默认=10），给过载队列中的节点一个机会，从过载队列拿出队列头部节点，作为选取的节点返回，让API试探性的用一下，同时将此节点重追到队列尾部；

调度就是：从空闲队列轮流选择节点；同时利用probe机制，给过载队列中节点一些被选择的机会

30.2 API层与Agent Load Balance的通信协议

/Lars/base/proto/lars.proto

  1. syntax = "proto3";
  3. package lars;
  5. /* Lars系统的消息ID */
  6. enum MessageId {
  7.     ID_UNKNOW                = 0;  //proto3 enum第一个属性必须是0，用来占位
  8.     ID_GetRouteRequest       = 1;  //向DNS请求Route对应的关系的消息ID
  9.     ID_GetRouteResponse      = 2;  //DNS回复的Route信息的消息ID
  10.     ID_ReportStatusRequest   = 3;  //上报host调用状态信息请求消息ID
  11.     ID_GetHostRequest        = 4;  //API 发送请求host信息给 Lb Agent模块 消息ID
  12.     ID_GetHostResponse       = 5;  //agent 回执给 API host信息的 消息ID
  13. }
  15. enum LarsRetCode {
  16.     RET_SUCC                 = 0;
  17.     RET_OVERLOAD             = 1; //超载
  18.     RET_SYSTEM_ERROR         = 2; //系统错误
  19.     RET_NOEXIST              = 3; //资源不存在
  20. }
  22. //...
  23. //...
  25. // API 请求agent 获取host信息 (UDP)
  26. message GetHostRequest {
  27.     uint32 seq = 1;
  28.     int32 modid = 2;
  29.     int32 cmdid = 3;
  30. }
  32. // Agent回执API的 host信息 (UDP)
  33. message GetHostResponse {
  34.     uint32 seq = 1;
  35.     int32 modid = 2;
  36.     int32 cmdid = 3;
  37.     int32 retcode = 4;
  38.     HostInfo host = 5;    
  39. }

这里主要增加两个ID：ID_GetHostRequest和ID_GetHostResponse，即，API的getHost请求的发送ID和回收ID。其中两个ID对应的message包为GetHostRequest和GetHostResponse。

30.3 host_info与Load Balance初始化

我们首先应该定义几个数据结构，分别是

host_info：表示一个host主机的信息

load_balance：针对一组modid/cmdid的负载均衡模块

route_lb:一共3个，和agent的udp server(提供api服务)的数量一致，一个server对应一个route_lb,每个route_lb负责管理多个load_balance

20-loadbalance-data-structure.png

host_info

lars_loadbalance_agent/include/host_info.h

  1. #pragma once
  3. /*
  4.  *   被代理的主机基本信息
  5.  *
  6.  * */
  7. struct host_info {
  8.     host_info(uint32_t ip, int port, uint32_t init_vsucc):
  9.         ip(ip),
  10.         port(port),
  11.         vsucc(init_vsucc),
  12.         verr(0),
  13.         rsucc(0),
  14.         rerr(0),
  15.         contin_succ(0),
  16.         contin_err(0),
  17.         overload(false)
  18.     {
  19.         //host_info初始化构造函数
  20.     }
  22.     uint32_t ip;            //host被代理主机IP
  23.     int port;               //host被代理主机端口
  24.     uint32_t vsucc;         //虚拟成功次数(API反馈)，用于过载(overload)，空闲(idle)判定
  25.     uint32_t verr;          //虚拟失败个数(API反馈)，用于过载(overload)，空闲(idle)判定
  26.     uint32_t rsucc;         //真实成功个数, 给Reporter上报用户观察
  27.     uint32_t rerr;          //真实失败个数，给Reporter上报用户观察
  28.     uint32_t contin_succ;   //连续成功次数
  29.     uint32_t contin_err;    //连续失败次数
  31.     bool overload;          //是否过载
  32. };

host_info包含，最关键的主机信息ip+port.除了这个还有一些用户负载均衡算法判断的属性。

load_balance

lars_loadbalance_agent/include/load_balance.h

  1. #pragma once
  2. #include <ext/hash_map>
  3. #include <list>
  4. #include "host_info.h"
  5. #include "lars.pb.h"
  7. //ip + port为主键的 host信息集合
  8. typedef __gnu_cxx::hash_map<uint64_t, host_info*>   host_map;   // key:uint64(ip+port), value:host_info
  9. typedef __gnu_cxx::hash_map<uint64_t, host_info*>::iterator host_map_it;
  11. //host_info list集合
  12. typedef std::list<host_info*> host_list; 
  13. typedef std::list<host_info*>::iterator host_list_it;
  16. /*
  17.  * 负载均衡算法核心模块
  18.  * 针对一组(modid/cmdid)下的全部host节点的负载规则
  19.  */
  20. class load_balance {
  21. public:
  22.     load_balance(int modid, int cmdid):
  23.         _modid(modid),
  24.         _cmdid(cmdid)
  25.     {
  26.         //load_balance 初始化构造
  27.     }
  30.     //判断是否已经没有host在当前LB节点中
  31.     bool empty() const;
  33.     //从当前的双队列中获取host信息
  34.     int choice_one_host(lars::GetHostResponse &rsp);
  36.     //如果list中没有host信息，需要从远程的DNS Service发送GetRouteHost请求申请
  37.     int pull();
  39.     //根据dns service远程返回的结果，更新_host_map
  40.     void update(lars::GetRouteResponse &rsp);
  43.     //当前load_balance模块的状态
  44.     enum STATUS
  45.     {
  46.         PULLING, //正在从远程dns service通过网络拉取
  47.         NEW      //正在创建新的load_balance模块
  48.     };
  49.     STATUS status;  //当前的状态
  51. private:
  53.     int _modid;
  54.     int _cmdid;
  55.     int _access_cnt;    //请求次数，每次请求+1,判断是否超过probe_num阈值
  57.     host_map _host_map; //当前load_balance模块所管理的全部ip + port为主键的 host信息集合
  59.     host_list _idle_list;       //空闲队列
  60.     host_list _overload_list;   //过载队列
  61. };

一个load_balance拥有两个host链表集合，还有一个以ip/port为主键的_host_map集合。

属性:

_idle_list:全部的空闲节点Host集合列表。

_overload_list：全部的过载节点Host集合列表。

_host_map:当前load_balance中全部所管理的ip+port是host总量，是一个hash_map<uint64_t, host_info*>类型。

_modid,_cmdid：当前load_balance所绑定的modid/cmdid。

_access_cnt：记录当前load_balance被api的请求次数，主要是用户判断是否触发probe机制(从overload_list中尝试取节点)

status: 当前load_balance所处的状态。包括PULLING,NEW. 是当load_balance在向远程dns service请求host 的时候，如果正在下载中，则为PULLING状态，如果是增加被创建则为NEW状态。

方法

choice_one_host()：根据负载均衡算法从两个list中取得一个可用的host信息放在GetRouteResponse &rsp中

pull()：如果list中没有host信息，需要从远程的DNS Service发送GetRouteHost请求申请。

update()：根据dns service远程返回的结果，更新_host_map

以上方法我们暂时先声明，暂不实现，接下来，我们来定义route_lb数据结构

route_lb

/lars_loadbalance_agent/include/route_lb.h

  1. #pragma once
  2. #include "load_balance.h"
  4. //key: modid+cmdid    value: load_balance
  5. typedef __gnu_cxx::hash_map<uint64_t, load_balance*> route_map;
  6. typedef __gnu_cxx::hash_map<uint64_t, load_balance*>::iterator route_map_it;
  9. /*
  10.  * 针对多组modid/cmdid ,route_lb是管理多个load_balanace模块的
  11.  * 目前设计有3个，和udp-server的数量一致，每个route_lb分别根据
  12.  * modid/cmdid的值做hash，分管不同的modid/cmdid
  13.  *
  14.  * */
  15. class route_lb {
  16. public:
  17.     //构造初始化
  18.     route_lb(int id);
  20.     //agent获取一个host主机，将返回的主机结果存放在rsp中
  21.     int get_host(int modid, int cmdid, lars::GetHostResponse &rsp);
  23.     //根据Dns Service返回的结果更新自己的route_lb_map
  24.     int update_host(int modid, int cmdid, lars::GetRouteResponse &rsp);
  27. private:
  28.     route_map _route_lb_map;  //当前route_lb下的管理的loadbalance
  29.     pthread_mutex_t _mutex; 
  30.     int _id; //当前route_lb的ID编号
  31. };

属性

_route_lb_map: 当前route_lb下的所管理的全部load_balance(一个load_balance负责一组modid/cmdid的集群负载)。其中key是modid/cmdid，value则是load_balance对象.

_mutex：保护_route_lb_map的锁。

_id:当前route_lb的id编号，编号从1-3，与udpserver的数量是一致的。一个agent udp server对应一个id。

方法

get_host():直接处理API业务层发送过来的ID_GetHostRequest请求。agent获取一个host主机，将返回的主机结果存放在rsp中.

update_host():这个是load_balance触发pull()操作，远程Dns Service会返回结果，route_lb根据Dns Service返回的结果更新自己的_route_lb_map.