6.x版本更新

新特性6.0.0 版本

2017年8月31日发布，重要特性：

• 稀疏性 Doc Values 的支持
• Index sorting，即索引阶段的排序。
• 顺序号的支持，每个 es 的操作都有一个顺序编号（类似增量设计）
  无缝滚动升级
• Removal of types，在 6.0 里面，开始不支持一个 index 里面存在多个 type
• Index-template inheritance，索引版本的继承，目前索引模板是所有匹配的都会合并，这样会造成索引模板有一些冲突问题， 6.0 将会只匹配一个，索引创建时也会进行验证
• Load aware shard routing， 基于负载的请求路由，目前的搜索请求是全节点轮询，那么性能最慢的节点往往会造成整体的延迟增加，新的实现方式将基于队列的耗费时间自动调节队列长度，负载高的节点的队列长度将减少，让其他节点分摊更多的压力，搜索和索引都将基于这种机制。

• 已经关闭的索引将也支持 replica 的自动处理，确保数据可靠。

  6.2.0

  重大变化

  Aggregations

• 新增集群设置限制the total number of buckets returned by a request #27581 (issues: #26012, #27452)

Core

• 禁止授予全部产品权限 #27548

Highlighting

• 限制文本分析突出显示 #27934 (issue: #27517)

Rollover

• 如果模版中有重复的别名则rollover失败 #28110 (issue: #26976)

Search

• Terms Query引入terms数量限制 #27968 (issue: #18829)

  Java 重大变化

  Java API

• 从Java API移除 operationThreaded #27836

Java High Level REST Client

• 从索引客户端方法名称中删除索引后缀 #28263

  弃用

  Analysis

• Backport delimited payload filter 重命名 #27535 (issue: #26625)

Suggesters

• 弃用 jarowinkler 支持 jaro_winkler #27526

• 弃用 levenstein 支持 levensHtein #27409 (issue: #27325)

  新特性

  Plugin Ingest GeoIp

• 为Ingest GeoIP插件启用ASN支持 #27958 (issue: #27849)

Plugin Lang Painless

• Painless: 为白名单添加spi jar #28302
• Painless: 为白名单方法和字段添加简单缓存 #28142

Plugins

• 添加将多个插件捆绑到元插件中的功能 #28022 (issue: #27316)

Rank Evaluation

• Backport of ranking evaluation API #27844 (issue: #27478)

Recovery

• Backport for 在删除策略中使用lastSyncedGlobalCheckpoint #27866 (issue: #27826)

Reindex API

• 将滚动参数添加到_reindex API #28041 (issue: #27555)

  6.2.0增强功能

  6.3.0

  重大变化

  Core

• 重命名批量线程池以写入线程池 #29593

Monitoring

• 安装X-Pack之后, 默认启用monitoring但禁用数据收集，通过xpack.monitoring.collection.enabled 设置可以启用数据收集，可以通过升级该设置Cluster Update Settings API. 更多设置查看 Monitoring Settings.

Packaging

• 在软件包安装时创建密钥库 #28928

Plugins

• 从安装插件中删除静默批处理模式 #29359

Security

• 遗留的XPackExtension扩展机制已被删除，并替换为基于SPI的扩展机制，该机制已安装并构建为Elasticsearch插件。

  Java 重大变化

  Aggregations

• 向聚合构建器添加浅表复制方法 #28430 (issue: #27782)

  弃用

  Analysis

• 弃用htmlStrip作为HtmlStripCharFilter的名称 #27429

Core

• 弃用索引线程池 #29540
• 为配置提示添加弃用消息 #28000 (issue: #27216)

Mapping

• 弃用 update_all_types 选项 #28284

Network

• Networking: 弃用 http.enabled 设置 #29591 (issue: #12792)
• 弃用最大最大内容长度截断 #29339 (issue: #29337)

REST API

• REST : 弃用 field_data 用于清除索引缓存API #28943 (issue: #17804)

Search

• 弃用切片 _uid. #29353
• 使用尾随令牌为_search请求生成弃用警告 #29428 (issue: #28995)

Stats

• 弃用建议指标 #29627 (issue: #29589)

  新特性

  Aggregations

• 添加在复合date_histogram源上指定格式的功能 #28310 (issue: #27923)

• 用聚合的Kahan求和算法计算总和 (#27807) #27848 (issue: #27807)

Geo

• 向geo_point和geo_shape添加Z值支持 #25738 (issue: #22917)

Ingest

• 为每个文档的 indexed_chars 限制添加摄取附件支持 #28977 (issue: #28942)

Java High Level REST Client

• 将排名评估API添加到High Level Rest Client #28357
• 将索引别名API添加到the high level REST client #27876 (issue: #27205)

Java Low Level REST Client

• Client: 包装同步异常 #28919 (issue: #28399)

Network

• 介绍客户端功能跟踪 #31020 (issue: #30731)

REST API

• REST: 包括抑制的故障异常 #29115 (issue: #23392)

Ranking

• 向_rank_eval添加索引选项支持 #29386

Scripting

• 无痛执行API #29164

Search

• Search - new flag: allow_partial_search_results #27906 (issue: #27435)

Task Management

• 添加新设置以禁用持久性任务分配 #29137

  6.3.0增强功能

  6.4.0

  重大变化

  Plugins

• 移除 meta 插件 #30670

Search

• 如果正则表达式字符串太长，则拒绝正则表达式搜索 #28542 (issue: #28344)

Task Management

• 删除可能破坏序列化的元数据 #30945 (issues: #30731)

  Java 重大变化

  Authentication

• 可配置密码哈希算法/费用 #31234, #32092 (issue: #31723)

Discovery-Plugins

• 允许多个单播主机提供 #31509

Java High Level REST Client

• 添加 x-pack-info API #31870

Java Low Level REST Client

• 支持主机选择 #30523 (issue: #21888)

  弃用

  Analysis

• 正确拼写AnalysisPlugin#requriesAnalysisSettings #32025

• ngram 过滤器弃用 nGram 和 edgeNGram 名称 #30209

Index APIs

• 为默认分片添加弃用警告 #30587
• 弃用 not copy 设置，并明确禁止 #30404 (issues: #28347)

Java High Level REST Client

• 添加接受RequestOptions的高级客户端方法 #31069

Java Low Level REST Client

• Client: 弃用许多performRequest参数 #30315

Mapping

• 弃用未索引词组 #31072

Scripting

• 弃用在存储的脚本API中接受格式错误的请求 #28939 (issue: #27612)

Search

• 在字段功能API中，弃用对在请求正文中提供字段的支持 #30157

Suggesters

• 弃用不带上下文的索引和查询一个上下文完成字段 #30712 (issue: #29222)

  新特性

  Aggregations

• 添加加权平均度量聚合 #31037 (issue: #15731)

• 添加MovingFunction管道聚合，弃用MovingAvg agg #29594
• 添加composite agg中missing_bucket选项 #29465 (issue: #29380)

Analysis

• 公开lucene的删除重复令牌过滤器 #31275
• 多路令牌过滤器 #31208
• 添加新的揭示了Lucene Korean分析模块的分析插件analysis_nori (#30397)
• 添加一个char_group标记器 #24186

Authentication

• 添加Kerberos身份验证支持 #32263 (issue: #30243)

Authorization

• 引入对Kibana RBAC的支持的应用程序特权 #32309

Java High Level REST Client

• 添加analyze API #31577 (issue: #27205)
• 添加对搜索模板的支持 #30473
• 添加任务列表 #29546 (issue: #27205)

Machine learning

• 检测器现在支持自定义规则custom rules 这些规则使用户可以通过以规则形式提供一些特定于领域的知识来改善机器学习结果 #119, #31110, #31294 (issue: #31110)
• 来自分类结果的逆向工程师Grok模式 #30125

Mapping

• 添加对field aliases的支持 #32172 (issues: #23714, #31372)
• 添加一个选择用于查询时在空格上拆分关键字字段 #30691 (issue: #30393)
• 新的_ignored 字段可以知道在索引时忽略了哪些字段，通过 ignore_malformed 选项 (#29658) (issue: #29494)

Network

• 介绍客户端功能跟踪 #31020 (issue: #30731)

Plugins

• 重新加载插件的安全设置- backport (#31383) #31481 (issue: #29135)

SQL

• SQL: 支持转义序列 #31884 (issue: #31883)

Scripting

• 为无痛执行api添加更多上下文 #30511

Search

• 索引词组 #30450
• 将格式选项添加到docvalue_fields #29639 (issue: #27740)

Watcher

• 使观察者设置可重新加载 #31746

  6.4.0增强功能

  6.5.0

  重大变化

  Aggregations

• 需要在脚本化指标聚合中组合和减少脚本 #33452 (issue: #32804)

Geo

• Don’t flip longitude of envelopes crossing dateline #34535 (issue: #34418)

Mapping

• 禁止在映射更新中更改类型的“已启用”属性 (#33566) #33933

Plugins

• 介绍索引存储插件 #32375 (issue: #32267)

  Java 重大变化

  Authorization

• 使用RoleRetrievalResult获得更好的缓存 #34197 (issue: #33205)

Core

• 使用通用的AcknowledgedResponse而不是扩展的类 #32859
• 将WritePipelineResponse切换为AcknowledgedResponse #32722

Java High Level REST Client

• HLRC XPack协议清理：许可证，杂项 #34469 (issue: #34451)

Plugins

• 修复ScriptPlugin＃getContexts（）中的泛型 #33426

  弃用

  Analysis

• 弃用标准过滤器 #33468

Scripting

• 在脚本中有条件地使用Java Time API #31441

Search

• 弃用否定查询提升 #34512 (issues: #33309, #34486)
• 在分数查询函数中弃用负 weight #33624 (issue: #31927)

Suggesters

• 使Geo上下文映射解析更加严格 (6.x version) #32862 (issue: #32821)

  新特性

  Aggregations

• 添加新的自动间隔日期直方图 #28993 (issue: #9572)

Analysis

• 添加script_filter令牌过滤器 #33431
• 添加弹性搜索的条件令牌过滤器 #31958

Audit

• Backport 结构化审核日志 #33894 (issue: #31046)
• 结构化审核日志记录 #31931 (issue: #31046)

Authentication

• 允许用户/密码领域禁用身份验证 #34033 (issue: #33292)

Authorization

• [X-Pack] Beats 集中管理：安全角色+许可 #34305 (issues: #30493, #30520)
• 添加get-user-privileges API #33928 (issue: #32777)
• A添加对”authorization_realms”的支持 #33262

CCR

• [CCR] 添加了自动跟随模式功能 #33118 (issue: #33007)

Index APIs

• 添加索引设置以控制TieredMergePolicy＃deletesPctAllowed #32907

Java High Level REST Client

• HLRC添加start trial API #32799

Machine Learning

• 添加文件结构确定端点 #33471
• 分区最高分数 #32748

Mapping

• 新的Annotated_text字段类型 #30364 (issue: #29467)

Monitoring

• APM server monitoring #32515

SQL

• SQL: 使用 CONVERT 替代 CAST #34660 (issue: #34513)
• SQL: 实现IN（value1，value2，…）表达式 #34581 (issue: #32955)
• SQL: TRUNCATE and ROUND 函数 #33779 (issue: #33494)
• SQL: 添加 MONTHNAME, DAYNAME and QUARTER 函数 #33411 (issue: #33092)

Search

• 添加max_children限制为嵌套排序 #33587 (issue: #33592)

  6.5.0增强功能

  6.6.0

  重大变化

  Cross-cluster replication

• 更改获取自动关注模式API响应格式 #36203 (issue: #36049)

Ranking

• 在function_score查询中禁止负分数 #35709 (issue: #33309)

Search

• 消除QueryBuilders中查询和过滤器上下文之间的区别 #35354 (issue: #35293)
• 在span_or查询中设置boost时引发解析异常 (#28390) #34112 (issue: #28390)

Watcher

• 修复指标统计信息名称 #34951 (issue: #34865)

  Java 重大变化

  Infra/Core

• 从AbstractComponent删除设置成员 #35083

Infra/Logging

• 删除最后弃用的记录器函数 #35082 (issue: #32174)

Java High Level REST Client

• HLRC XPack协议清理：Migration; Graph; Watcher #34639 (issue: #34451)

ZenDiscovery

• 将JoinRequest中的节点字段设为私有 #36405

  弃用

  Aggregations

• 弃用聚合名称中的点 #31468 (issues: #17600, #19040)

Core

• 弃用在时代解析中使用科学计数法 #36691
• 为joda时间格式添加backcompat #36531

Features

• 弃用 info API: index.shard.check_on_startup 固定值 #36458 (issues: #33194, #36024)
• 弃用 info API: index.unassigned.node_left.delayed_timeout 负值 #36454 (issues: #26828, #36024)

Mapping

• 添加关于即将扩展的字段限制的警告 #34906 (issue: #26541)

Scripting

• 将弃用日志记录添加到ScriptDocValues＃getValues #34279 (issue: #22919)

Search

• 多次搜索元数据中的未知键进行警告 #36104 (issue: #35938)
• 弃用_termvector endpoint. #36098 (issue: #8484)
• 弃用_source_include and _source_exclude url 参数 #33475 (issue: #22792)

Security

• 不赞成 /_license endpoints #35974 (issue: #35959)

Settings

• 弃用设置 index.optimize_auto_generated_id in 6.x #28862 (issue: #27600)

Watcher

• 观察者弃用通知服务设置 #36403

• 不赞成 /_watcher endpoints #36269

  新特性

  Aggregations

• 中位数绝对偏差agg #34482 (issue: #26681)

Analysis

• 增加支持Nori中的内联用户字典 #36123 (issue: #35842)
• 添加预建的ICU分析仪 #34958 (issue: #34285)

Index Lifecycle Management

• 添加索引生命周期功能 #35193

Java High Level REST Client

• 添加汇总搜索 #36334 (issue: #29827)

Java Low Level REST Client

• 使警告行为可根据请求插入#36345
• 添加PreferHasAttributeNodeSelector #36005

Geo

• Fork Lucene的LatLonShape类到本地Lucene包 #36794
• 将Lucene的LatLonShape（BKD支持的GeoShapes）集成为默认的geo_shape索引方法 #35320 (issue: #32039)

Machine learning

• 将作业配置信息存储在新的 .ml-config 索引中 #36698 (issue: #32905)
• 确定何时由于接收延迟而从存储桶中丢失数据 #35387 (issue: #35131)

Search

• 添加了软限制以打开滚动上下文 #25244 #36009 (issue: #25244)
• 通过查询DSL使Lucene的IntervalQuery可用 #32406 (issue: #29636)

SQL

• 引入HISTOGRAM分组功能 #36510 (issue: #36509)
• DATABASE() and USER() 系统函数 #35946 (issue: #35863)

• 引入INTERVAL支持 #35521 (issue: #29990)

  6.6.0增强功能

  6.7.0

  重大变化

  Authentication

• TokenService不再接受Elasticsearch 6.1或更早版本生成的令牌 #38881

CCR

• 对于不存在的索引请求统计信息时，Follow stats api应该返回404 #37220 (issue: #37021)

Distributed

• 默认情况下停止返回集群状态大小 #40016 (issues: #39806, #39827, #39951)

Infra/Packaging

• 将ingest-user-agent打包为模块 #36956
• 将ingest-geoip打包为模块 #36898

Ranking

• 禁止在分析查询中出现负数字段 #37930 (issue: #33309)

  Java 重大变化

  Infra/Core

• 处理调度程序异常 #38014 (issues: #28667, #36137, #37708)

  弃用

  Analysis

• [Analysis] 在6.x中弃用标准HTML分析器 #37292 (issues: #26719, #4704)

Audit

• 弃用索引审核输出类型 #37671 (issues: #29881, #37301)

CRUD

• 弃用对内部版本控制的并发控制支持 #38451 (issues: #10708, #38254)

Cluster Coordination

• 弃用集群状态响应中的大小 #39951 (issue: #39806)

Features/Features

• 弃用Migration Assistance and Upgrade APIs #40072 (issue: #40014)

Features/Java High Level REST Client

• 弃用HLRC EmptyResponse used by security #37540 (issue: #36938)

Features/Java Low Level REST Client

• 弃用低级REST client on JDK 7 #38542 (issue: #29607)
• 弃用maxRetryTimeout in RestClient并且增大默认值 #38425 (issue: #38085)

Features/Watcher

• 弃用Hipchat Watcher actions #39160

Infra/Core

• Core: 弃用负 epoch timestamps #36793

Infra/Packaging

• 弃用 fallback to java on PATH #37990

Infra/REST API

• 弃用存在未被消费body的请求 #37534 (issue: #37504)

Machine Learning

• 为deprecation_info添加ml_settings条目到HLRC和Docs #38118
• Datafeed弃用检查 #37932
• 调整用于Joda到Java时间迁移的结构查找器 #37306

Mapping

• 弃用get field mapping API中的typesI #37667 (issue: #35190)
• 弃用put mapping API中的types #37280 (issues: #29453, #37285)
• 支持include_type_name in the field mapping and index template APIs. #37210
• 弃用创建索引请求中的types #37134 (issues: #29453, #37285)

Network

• 将TLS版本更改添加到弃用检查 #37793 (issue: #37512)
• 如果在没有显式配置的情况下使用TLSv1.0，则发出弃用警告 #37788 (issue: #37512)
• 为ssl配置回退添加弃用警告 #36847 (issue: #36846)

Security

• 弃用试用许可证上的隐式安全性 #38295 (issues: #38009, #38075)

  新特性

  Authentication

• 添加对API密钥的支持以访问Elasticsearch #38291 (issue: #34383)

Authorization

• 允许使用授权引擎进行自定义授权 #38358 (issues: #32435, #36245, #37328, #37495, #37785, #38137, #38219)
• WILDCard索引权限不包括.security #36765

CCR

• 添加 ccr follow info api #37408 (issue: #37127)

CRUD

• 使 _doc 用作索引实际类型的别名 #39505 (issue: #39469)

Features/ILM

• [ILM] 添加 unfollow action #36970 (issue: #34648)

Features/Ingest

• 启用grok处理器以支持long，double和boolean #27896

Machine Learning

• 添加 set_upgrade_mode API endpoint #37837

Mapping

• 将类型化模板与无类型索引创建混合时优先考虑索引创建，反之亦然 #37871 (issue: #37773)
• 添加 include_type_name 选项 to 6.x. (#29453) #37147 (issue: #35190)

SQL

• SQL: 允许按汇总对组进行排序 #38042 (issue: #35118)
• SQL: 实现 FIRST/LAST 聚合函数 #37936 (issue: #35639)
• SQL: 引入 SQL DATE data type #37693 (issue: #37340)

Security

• 将内部安全性索引切换为”.security-7” #39337 (issue: #39284)

  6.7.0增强功能

  6.8.0

  重大变化

  无

  6.8.0增强功能