融合了三个产品的优势,Google的Mesa、Apache Impala和ORC列式存储。
FE + BE
FE是前端节点,主要负责接受和返回客户端请求、元数据以及集群管理、查询计划生成等工作;(负责管理)
BE是后端节点,主要负责数据存储与管理、查询计划的执行等工作(负责干活)
FE
FE 主要有有三个角色,一个是 leader,一个是 follower,还有一个 observer。leader 跟 follower,主要是用来达到元数据的高可用,保证单节点宕机的情况下,元数据能够实时地在线恢复,而不影响整个服务。
FE磁盘的空间主要用于存储元数据,包括日志和image,通常击败MB到几个GB。
Follwer 与 Observer
FE角色分为Follower和Observer;
FE节点数据至少为1个Follwer,Follwer的数量必须是奇数。
右边 observer 只是用来扩展查询节点,就是说如果在发现集群压力非常大的情况下,需要去扩展整个查询的能力,那么可以加 observer 的节点。observer 不参与任何的写入,只参与读取。
broker
可以认为是一个插件,访问外部数据源,默认是HDFS。
还有Broker,是用于访问外部数据源的进程,通常在每台机器上部署一个broker实例