该模块可以控制索引数据的存储方式,索引可以存储在内存和磁盘上。使用内存方式可以得到更好的性能,但受限于实际的可用的物理内存大小
1、store level throttling
Elasticsearch中的segments merge采用异步的方式,但系统低IO的情况下还是会影响索引和查询操作。想要解决这种问题,Elasticsearch提供两种方式(索引级别和节点 级别)的配置。
节点级别配置:
indices.store.throttle.type:merge
indices.store.throttle.max_bytes_per_sec:5mb //默认20mb
如上设置之后,该节点上的segments merge不会超过5mb/s
索引级别设置:
index.store.throttle.type:node
index.store.throttle.max_bytes_per_sec:10mb
如上设置是基于 索引的,可以跨多个节点。
2、文件系统的存储类型
索引的存储类型有几种,可以使用index.store.type: niofs进行配置,在创建索引的时候也可以动态指定。
simple fs:对应Lucene中的SimpleFsDirectory。 这种实现的并发性能较差,多线程会出现瓶颈。当索引需要持久化最好使用niofs。
nio fs:对应Lucene中的NIOFSDirectory。这种方式可以多个线程并发地读同一个文件。
mmapfs:对应Lucene中MMapDirectory。这种方式将映射的文件加载到虚拟地址空间。在使用该类型之前,请确定是否有足够的虚拟内存。在linux环境下可以使用一下命令进行调整:
sysctl -w vm.max_map_count=262144
希望永久生效可以使用在 /etc/sysctl.conf中配置vm.max_map_count
hybrid mmap / nio fs:默认类型,这种方式使用以上两种方式,为了减少对系统的影响,目前Lucene只在term directory和doc values文件映射到内存中。其他的情况都是用Lucene的NIOFSDirectory。
memory:对应Lucene中的RamIndexStore。将索引存放在Jvm堆空间之外内存中。
【参考】http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index-modules-store.html
3、文件系统存储类型
基于文件系统的存储是默认索引存储方式。有不同的实现或存储类型。最好的一个操作系统的自动选择是:mmapfs使用在Windows的64bit系统上,simplefs使用在windows的32bit系统上,除此之外默认是用(hybrid niofs 和 mmapfs)。 你可以通过修改配置文件elasticsearch.yml来指定存储类型:
index.store.type: niofs
当然你也可以在创建索引的时候指定:
curl -XPUT localhost:9200/my_index -d ‘{
“settings”: {
“index.store.type”: “niofs”
}
}’;
下面是所有支持的不同存储类型:
Simple FS(简单文件系统)
Simplefs类型是一个简单的实现随机访问文件的文件存储系统(映射到Lucene SimpleFsDirectory的)。该实现的并发性能较差(多线程是个瓶颈)。当你需要将索引持久化,最好使用niofs。
NIO FS(NIO文件系统)
niofs类型是通过NIO将分片索引文件写到文件系统上(映射到Lucene NIOFSDirectory)。它允许多线程同时读取文件。不建议在Windows系统上使用,由于SUN JAVA实现上的一个错误。
MMap FS(内存映射文件系统)
mmapfs类型存储分片索引到文件系统上(映射到Lucene MMapDirectory)通过映射文件到内存中(MMAP)。内存映射的过程中将划分出与被映射文件大小一样的虚拟内存空间。使用这个类之前,请确保您有足够的虚拟地址空间。
Linux下虚拟内存设置:
# sysctl -w vm.max_map_count=262144
永久生效:
update the vm.max_map_count setting in /etc/sysctl.conf.
# echo “vm.max_map_count=262144” >> /etc/sysctl.conf && sysctl -p
Hybrid MMap / NIO FS
默认类型存储碎片索引在文件系统中根据不同的文件类型的文件映射到内存(mmap)或使用Java NIO。目前只Lucene术语字典和doc值文件内存映射到减少对操作系统的影响。所有其他文件都使用Lucene NIOFSDirectory打开。
内存
内存类型索引存储在主内存,使用Lucene的RamIndexStore。也有节点级别的设置来控制高速缓存(重要的,当使用直接缓冲区):
参考:https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-store.html#store-memory https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.html#file-descriptors