之前系列已经讲到OpenLookeng的其中一大目标是提供跨多种数据源联合查询的能力,解决跨源大数据分析查询难题。这就依赖于其Connector特性。通过Connector的架构设计,提供了插件式、可配置化的多种数据源接入方式,对外统一为SQL 2003接口,这样对于数据分析师的学习成本就降低了很多。正所谓“分久必合合久必分”。
- 通过SQL 2003提供了所有数据的全局视图
- 多样的北向接入方式:JDBC、ODBC、RESTful API
- 多样的南向数据源对接:mysql、hive、hbase、Carbondata、Elasticsearch…..
通过官方资料展示Connector的架构图如下
如何接入一个Connnector
参考官网资料的连接器配置。以Mysql为例:
1、在目录 /opt/openlookeng/data/etc/catalog 下,catalog为加载的Connector配置文件目录
2、配置mysql.properties文件
3、重启服务,查看对应日志成功加载了mysql
4、通过CLI 能够连接mysql 数据库,并能正常查询
如果需要自定义Connector,也可以通过API以插件的方式开发。