分布式文件系统
数据分布在多节点存储,以透明的方式对文件进行管理和存取;分布式存储系统的底层基础;
常用系统:HDFS,Ceph,GFS
分布式KV存储
存储关系简单的半结构化数据,通过某种机制将key进行分节点存储;可用于分享配置、缓存和服务发现;
常用系统:ETCD、Redis、CloudKV
分布式存储引擎
基于分布式文件存储系统和分布式数据处理计算,实现数据的分布式查询分析及更新;
常用系统:Hive、Hbase、ElasticSearch、ClickHourse、TiDB、Dremel、Druid等
解决问题
- 对外接口协议是什么,是否支持sql
- 程序服务如何进行协调和管理
- 是否支持OLAP?如何实现?
- 数据如何被检索查询
- 数据如何写入、更新、删除、保证一致性
- 元数据管理方式是什么
- 数据如何分布 hash、random or range?
- 数据文件以什么格式存储
- 数据类型是什么,是否结构化1