分词器使用的两个情形：
1，Index time analysis. 创建或者更新文档时，会对文档进行分词
2，Search time analysis. 查询时，对查询语句分词

一、指定查询时使用哪个分词器的方式有：

1、查询时通过analyzer指定分词器

  1. GET test_index/_search
  2. {
  3.   "query": {
  4.     "match": {
  5.       "name": {
  6.         "query": "lin",
  7.         "analyzer": "standard"
  8.       }
  9.     }
  10.   }
  11. }

2、创建index mapping时指定search_analyzer

  1. #创建索引时，如果不指定分词时，会使用默认的standard
  2. PUT test_index
  3. {
  4.   "mappings": {
  5.     "doc": {
  6.       "properties": {
  7.         "title":{
  8.           "type": "text",
  9.           "analyzer": "whitespace", #指定写入时的分词器，es内置有多种analyzer
  10.           "search_analyzer": "standard" #指定搜索时的分词器
  11.         }
  12.       }
  13.     }
  14.   }
  15. }

二、分词器API

1、查看分词结果

  1. POST _analyze
  2. {
  3.   "analyzer": "standard",
  4.   "text": "我是中国人"
  5. }

2、指定索引的自动查看分词结果

  1. POST /indexName/_analyze
  2. {
  3.   "analyzer": "standard",
  4.   "field":"hobby", #指定具体的字段名称
  5.   "text": "我是中国人"
  6. }

3、修改分词器的设定

  1. #启用english停用词token filter，默认停词器是禁用的
  2. PUT /my_index
  3. {
  4.   "settings": {
  5.     "analysis": {
  6.       "analyzer": {
  7.         "es_std": { #分词器名称,
  8.           "type": "standard",
  9.           "stopwords": "_english_"
  10.         }
  11.       }
  12.     }
  13.   }
  14. }

三、ES分词器组成

分词器的组成：
1、character filter：在一段文本进行分词之前，先进行预处理，比如说最常见的就是，过滤html标签（hello —> hello），& —> and（I&you —> I and you）
2、tokenizer：按照一定的规则进行分词，hello you and me —> hello, you, and, me
3、token filter：对tokenizer输出的词进行增加（添加近义词）、修改、删除，如lowercase，stop word，synonymom，dogs —> dog，liked —> like，Tom —> tom，a/the/an —> 干掉，mother —> mom，small —> little
stop word 停用词： 了 的 呢。
一个分词器，很重要，将一段文本进行各种处理，最后处理好的结果才会拿去建立倒排索引。

内置的分词器：
1、standard 由以下组成

  • tokenizer：Standard Tokenizer
  • token filter：Standard Token Filter，Lower Case Token Filter，Stop Token Filter

2、whitespace 空格为分隔符

3、simple

4、stop 默认stopwords用english

5、keyword 不分词的

6、language 以特定的语言进行分词，如english

四、第三方分词器

es内置很多分词器，但是对中文分词并不友好，例如使用standard分词器对一句中文话进行分词，会分成一个字一个字的。这时可以使用第三方的Analyzer插件，比如 ik、jieba、pinyin等。
安装只需要把对应的插件下载解压到es的plugins目录下即可再重启生效。

如ik分词器的效果如下：

  1. GET _analyze
  2. {
  3.   "analyzer": "ik_max_word", #ik分词器的名称
  4.   "text": "你好吗?我有一句话要对你说呀。"
  5. }
  7. 结果：
  8. {
  9.   "tokens": [
  10.     {
  11.       "token": "你好",
  12.       "start_offset": 0,
  13.       "end_offset": 2,
  14.       "type": "CN_WORD",
  15.       "position": 0
  16.     },
  17.     {
  18.       "token": "好吗",
  19.       "start_offset": 1,
  20.       "end_offset": 3,
  21.       "type": "CN_WORD",
  22.       "position": 1
  23.     },
  24.     {
  25.       "token": "我",
  26.       "start_offset": 4,
  27.       "end_offset": 5,
  28.       "type": "CN_CHAR",
  29.       "position": 2
  30.     },
  31.     {
  32.       "token": "有",
  33.       "start_offset": 5,
  34.       "end_offset": 6,
  35.       "type": "CN_CHAR",
  36.       "position": 3
  37.     },
  38.     {
  39.       "token": "一句话",
  40.       "start_offset": 6,
  41.       "end_offset": 9,
  42.       "type": "CN_WORD",
  43.       "position": 4
  44.     },
  45.     {
  46.       "token": "一句",
  47.       "start_offset": 6,
  48.       "end_offset": 8,
  49.       "type": "CN_WORD",
  50.       "position": 5
  51.     },
  52.     {
  53.       "token": "一",
  54.       "start_offset": 6,
  55.       "end_offset": 7,
  56.       "type": "TYPE_CNUM",
  57.       "position": 6
  58.     },
  59.     {
  60.       "token": "句话",
  61.       "start_offset": 7,
  62.       "end_offset": 9,
  63.       "type": "CN_WORD",
  64.       "position": 7
  65.     },
  66.     {
  67.       "token": "句",
  68.       "start_offset": 7,
  69.       "end_offset": 8,
  70.       "type": "COUNT",
  71.       "position": 8
  72.     },
  73.     {
  74.       "token": "话",
  75.       "start_offset": 8,
  76.       "end_offset": 9,
  77.       "type": "CN_CHAR",
  78.       "position": 9
  79.     },
  80.     {
  81.       "token": "要对",
  82.       "start_offset": 9,
  83.       "end_offset": 11,
  84.       "type": "CN_WORD",
  85.       "position": 10
  86.     },
  87.     {
  88.       "token": "你",
  89.       "start_offset": 11,
  90.       "end_offset": 12,
  91.       "type": "CN_CHAR",
  92.       "position": 11
  93.     },
  94.     {
  95.       "token": "说呀",
  96.       "start_offset": 12,
  97.       "end_offset": 14,
  98.       "type": "CN_WORD",
  99.       "position": 12
  100.     }
  101.   ]
  102. }

五、自定义分词器

  1. PUT /my_index
  2. {
  3.   "settings": {
  4.     "analysis": {
  5.       "char_filter": { #定义分词第一步的filter，预处理
  6.         "&_to_and": {  
  7.           "type": "mapping",
  8.           "mappings": ["&=> and"]  # 把&符号转换为and字符
  9.         }
  10.       },
  11.       "filter": {  # 定义第三步的filter，过滤器把the和a的字符去除
  12.         "my_stopwords": {
  13.           "type": "stop",
  14.           "stopwords": ["the", "a"]
  15.         }
  16.       },
  17.       "analyzer": {
  18.         "my_analyzer": {  #第二步分词器
  19.           "type": "custom",
  20.           "char_filter": ["html_strip", "&_to_and"], #使用哪些预处理器,有一个es自带的和一个自定义的
  21.           "tokenizer": "standard",  # 使用默认的分词策略
  22.           "filter": ["lowercase", "my_stopwords"] # 第三步，使用一个默认的和自定义的filter
  23.         }
  24.       }
  25.     }
  26.   }
  27. }