Mapping 映射

映射是定义文档的存储和索引方式的过程。
es的mapping有点类型EDB的表结构，在mysql中表结构中有字段名称，类型、长度、索引等
在mapping中也存在字段名称、字段类型，分词器、评分、索引的等。

es支持的数据类型

常见类型

  1. 数字类型
    1. long
    2. integer
    3. short
    4. byte
    5. double
    6. float
    7. half_float
    8. scaled_float
    9. unsingned_float
  2. keywords
    1. keyword：适用于索引结构化的字段，只能被精准匹配（exact_value），id为keyword
    2. constant_keyword：始终包含相同值的关键字类型
    3. wildcard
  3. Dates：时间类型
  4. alias：别名
  5. binary：二进制
  6. range：区间了欧系

  7. text：全文检索字段，生成倒排索引（是为了做文本检索），一般不创建正排索引用于排序和聚合。

    对象关系类型

  8. object：单个json对象

  9. nested：json数组
  10. flattened：将json对象索引成单个字段

结构化类型：

  1. geo_point：经纬度积分
  2. geo_shape：多边形等复杂形状
  3. point：笛卡尔坐标系
  4. shape：笛卡尔任意几何图形

特殊类型

  1. ip：用于ipv4和IPV6
  2. completion

image.png

array数组

es中数组不需要专门的数据类型，任何字段都可以包含一个或者多个值，但是类型需要相同

新增

date_nanos：date plus 纳秒
features

两种映射类型

  1. dynamic field mapping 自动映射
    1. 整数 ：long
    2. 浮点性：float
    3. true/false : boolean
    4. 日期：date
    5. 数组：取决于数组中的类型
    6. 对象：object
    7. 字符串：不是数字和日期那么是text和keyword类型
  2. expilcit field mapping 手动映射（除了以上都是需要手动的）

以下相当于手动建立表结构

  1. PUT /product
  2. {
  3.     "mapping":{
  4.       "properties":{
  5.         "field":{
  6.           "mapping_parameter": "parameter_value"
  7.       }
  8.     }
  11.   }
  13. }

映射参数

  1. index：是否对当前字段创建倒排索引，默认为true
  2. analyzer：分词器
  3. boost：评分权重
  4. coerce：是否允许类型转换
  5. copy_to：可以将多个字段的值复制到组字段中
  6. doc_value：可以提升排序和聚合的效率 ，如果不需要建立正排索引可以禁用，以节省磁盘空间。
  7. dynamic：控制是否可以动态的创建新字段

image.png
image.png

  1. #Dynamic mapping
  2. DELETE product_mapping
  3. GET product_mapping/_mapping
  4. PUT /product_mapping/_doc/1
  5. {
  6.   "name": "xiaomi phone",
  7.   "desc": "shouji zhong de zhandouji",
  8.   "count": 123456,
  9.   "price": 123.123,
  10.   "date": "2020-05-20",
  11.   "isdel": false,
  12.   "tags": [
  13.     "xingjiabi",
  14.     "fashao",
  15.     "buka"
  16.   ]
  17. }
  19. #手工创建mapping（fields的mapping只能创建，无法修改）
  20. #语法
  21. GET product/_mapping
  22. PUT /product
  23. {
  24.   "mappings": {
  25.     "properties": {
  26.       "date": {
  27.         "type": "text"
  28.       }
  29.     }
  30.   }
  31. }
  33. GET product/_mapping
  34. #1 index
  36. #案例
  37. PUT /product
  38. {
  39.   "mappings": {
  40.     "properties": {
  41.       "date": {
  42.         "type": "text"
  43.       },
  44.       "desc": {
  45.         "type": "text",
  46.         "analyzer": "english"
  47.       },
  48.       "name": {
  49.         "type": "text",
  50.         "index": "false"
  51.       },
  52.       "price": {
  53.         "type": "long"
  54.       },
  55.       "tags": {
  56.         "type": "text",
  57.         "index": "true"
  58.       },
  59.       "parts": {
  60.         "type": "object"
  61.       },
  62.       "partlist": {
  63.         "type": "nested"
  64.       }
  65.     }
  66.   }
  67. }
  68. #插入数据
  69. GET product/_mapping
  70. PUT /product/_doc/1
  71. {
  72.   "name": "xiaomi phone",
  73.   "desc": "shouji zhong de zhandouji",
  74.   "count": 123456,
  75.   "price": 3999,
  76.   "date": "2020-05-20",
  77.   "isdel": false,
  78.   "tags": [
  79.     "xingjiabi",
  80.     "fashao",
  81.     "buka"
  82.   ],
  83.   "parts": {
  84.     "name": "adapter",
  85.     "desc": "5V 2A"
  86.   },
  87.   "partlist": [
  88.     {
  89.       "name": "adapter",
  90.       "desc": "5V 2A"
  91.     },
  92.     {
  93.       "name": "USB-C",
  94.       "desc": "5V 2A 1.5m"
  95.     },
  96.     {
  97.       "name": "erji",
  98.       "desc": "boom"
  99.     }
  100.   ]
  101. }
  102. #查看
  103. GET /product/_search
  104. {
  105.   "query": {
  106.     "match_all": {}
  107.   }
  108. }
  109. #验证
  110. GET /product/_search
  111. {
  112.   "query": {
  113.     "match": {
  114.       "name": "xiaomi"
  115.     }
  116.   }
  117. }
  119. #copy_to
  120. PUT copy_to
  121. {
  122.   "mappings": {
  123.     "properties": {
  124.       "field1": {
  125.         "type": "text",
  126.         "copy_to": "field_all" 
  127.       },
  128.       "field2": {
  129.         "type": "text",
  130.         "copy_to": "field_all" 
  131.       },
  132.       "field_all": {
  133.         "type": "text"
  134.       }
  135.     }
  136.   }
  137. }
  139. PUT copy_to/_doc/1
  140. {
  141.   "field1": "field1",
  142.   "field2": "field2"
  143. }
  144. GET copy_to/_search
  145. GET copy_to/_search
  146. {
  147.   "query": {
  148.     "match": {
  149.       "field_all": { 
  150.         "query": "field1 field2"
  151.       }
  152.     }
  153.   }
  154. }
  156. #coerce：是否允许强制类型转换
  157. PUT coerce
  158. {
  159.   "mappings": {
  160.     "properties": {
  161.       "number_one": {
  162.         "type": "integer"
  163.       },
  164.       "number_two": {
  165.         "type": "integer",
  166.         "coerce": false
  167.       }
  168.     }
  169.   }
  170. }
  171. PUT coerce/_doc/1
  172. {
  173.   "number_one": "10" 
  174. }
  175. #//拒绝，因为设置了false
  176. PUT coerce/_doc/2
  177. {
  178.   "number_two": "10" 
  179. }  
  181. DELETE coerce
  182. PUT coerce
  183. {
  184.   "settings": {
  185.     "index.mapping.coerce": false
  186.   },
  187.   "mappings": {
  188.     "properties": {
  189.       "number_one": {
  190.         "type": "integer",
  191.         "coerce": true
  192.       },
  193.       "number_two": {
  194.         "type": "integer"
  195.       }
  196.     }
  197.   }
  198. }
  199. PUT coerce/_doc/1
  200. { 
  201.   "number_one": "10" 
  202. } 
  203. #拒绝，因为设置了false
  204. PUT coerce/_doc/2
  205. {
  206.   "number_two": "10" 
  208. } 
  210. PUT /product/_mapping
  211. {
  212.   "properties": {
  213.     "date": {
  214.       "type": "text"
  215.     }
  216.   }
  217. }
  219. #7- 7 
  220. PUT dynamic
  221. {
  222.   "mappings": {
  223.     "dynamic": false,
  224.     "properties": {
  225.       "user": {
  226.         "properties": {
  227.           "date": {
  228.             "type": "text"
  229.           },
  230.           "desc": {
  231.             "type": "text",
  232.             "analyzer": "english"
  233.           },
  234.           "name": {
  235.             "type": "text",
  236.             "index": "false"
  237.           },
  238.           "price": {
  239.             "type": "long"
  240.           }
  241.         }
  242.       }
  243.     }
  244.   }
  245. }
  246. PUT /product/_mapping
  247. {
  248.   "properties": {
  249.     "date": {
  250.       "type": "text"
  251.     }
  252.   }
  253. }
  255. #7-11 
  256. GET /product/_mapping
  257. #给city创建一个keyword
  258. PUT fields_test
  259. {
  260.   "mappings": {
  261.     "properties": {
  262.       "city": {
  263.         "type": "text",
  264.         "fields": {
  265.           "raw": { 
  266.             "type":  "keyword"
  267.           }
  268.         }
  269.       }
  270.     }
  271.   }
  272. }
  274. PUT fields_test/_doc/1
  275. {
  276.   "city": "New York"
  277. }
  279. PUT fields_test/_doc/2
  280. {
  281.   "city": "York"
  282. }
  283. GET fields_test/_mapping
  284. GET fields_test/_search
  285. {
  286.   "query": {
  287.     "match": {
  288.       "city": "york" 
  289.     }
  290.   },
  291.   "sort": {
  292.     "city.raw": "asc" 
  293.   },
  294.   "aggs": {
  295.     "cities": {
  296.       "terms": {
  297.         "field": "city.raw" 
  298.       }
  299.     }
  300.   }
  301. }
  303. #忽略类型错误-常用于数据同步
  304. PUT ignore_malformed
  305. {
  306.   "mappings": {
  307.     "properties": {
  308.       "number_one": {
  309.         "type": "integer",
  310.         "ignore_malformed": true
  311.       },
  312.       "number_two": {
  313.         "type": "integer"
  314.       }
  315.     }
  316.   }}
  317. PUT ignore_malformed/_doc/1
  318. {
  319.   "text":       "Some text value",
  320.   "number_one": "foo" 
  322. }   
  323. #//虽然有异常 但是不抛出
  324. PUT ignore_malformed/_doc/2
  325. {
  326.   "text":       "Some text value",
  327.   "number_two": "foo" 
  329. }  
  330. GET my_index/_search
  331. #//数据格式不对    
  334. #fielddata
  335. #每个tag产品的数量   "size":0, 不显示原始结果
  336. GET /product/_search
  337. {
  338.   "aggs": {
  339.     "tag_agg_group": {
  340.       "terms": {
  341.         "field": "tags"
  342.       }
  343.     }
  344.   },
  345.   "size":0
  346. }
  347. GET /product/_mapping
  348. #将文本field的fielddata属性设置为true
  349. PUT /product/_mapping
  350. {
  351.   "properties": {
  352.     "tags": {
  353.       "type": "text",
  354.       "fielddata": true
  355.     }
  356.   }
  357. }