Elasticsearch知识总结-基础篇思维导图模板

处理冲突

乐观并发控制

默认所有操作都不会发生冲突

ES利用_version元数据来确保应用中相互冲突的变更不会引发数据丢失

更新时要携带version参数来验证是否冲突：PUT /{_index}/{_type}/{_id}?version=n

更新成功，HEAD:201

更新失败，HEAD:409

所有文档的更新和删除API均支持version参数，携带version参数进行更新是个好习惯

外部版本号

可使用外部系统的版本号进行版本控制

PUT /{_index}/{_type}/{_id}?version=5&version_type=external

外部版本号可以从小到大任意修改，即后更新的版本号一定要大于前面的版本号

批量操作 bulk

{action: metadata}\n {request body}\n ...\n

操作选项 action

create：如果文档不存在则新建文档

index：创建一个新文档或替换已有文档

update：部分更新一个文档

delete：删除一个文档

文档定位 metadata

_index

_type

_id

请求体 request body

请求体包含文档的具体内容

create, index, update需要请求体，而delete不需要请求体

update 请求体要符合update API的格式要求

响应体

可以通过error属性来判断批量操作中是否存在错误

可在items属性中查看全部操作结果

一个好的批量处理执行时占用的物理内存大小应在5-15M之间

分布式文档存储

决定文档存储所在分片的公式：shard = hash(routing) % number_of_primary_shards

routing参数通常就是_id，可以由系统生成，也可以自行指定

所有API都支持routing参数，用来确定文档与分片的映射

谓语动词

GET

取回文档

指定_id取回文档时，响应体包含found字段，以标识是否取回成功

指定_id取回文档时，如果文档存在，则响应体头状态为“200-OK”，否则为“404 Not Found”

批量取回文档 mget API

将多个请求放到一个请求中，减少网络延迟和开销

“doc”数组作为参数

一个数据元素对应一个取回请求

相同索引的多个请求可以在URI中写死索引，同时也支持在doc数组元素中指定索引以覆盖URI中的索引

索引和类型完全一样的，只需要提供ids参数即可

无论是否取回全部文档，mget都会返回200，需要通过响应体中的found字段来判断是否取回成功

HEAD

无响应体请求，仅返回响应报头，可用于检测文档是否存在

PUT

index API

创建新文档

响应体中的created为true, _source为1

全部替换文档

响应体中created为false, _source>1

确定要创建新文档，但不确定_id是否已经存在，可通过两个方式来进行创建， 返回的头信息是一样的：201 Created 创建成功、409 Conflict _id已存在

PUT /{index}/{type}/{id}?op_type=create

PUT /{index}/{type}/{id}/_create

POST

update API

更新文档部分内容，而PUT是更新文档全部内容

遵从检索-修改-重建索引的过程

更新操作在分片内进行，减少了网络请求的开销

将文档的一部分作为"doc"属性的参数，覆盖现有字段，增加新的字段

POST /{_index}/{_type}/{_id}/_update {     "doc": {         "colum1": value1,         "column2": value2     } }

可使用Groovy脚本语言对文档进行操作，由于该脚本存在漏洞，因此ES中是默认关闭对Groovy支持的，可通过修改config/elasticsearch.yml文件打开groovy支持

通过retry_on_conflict来设置当更新发生冲突时，update操作重新尝试的次数，默认值为0，示例：POST /{_index}/{_type}/{_id}/_update?retry_on_confilct=5

DELETE

删除文档

删除成功后返回的头状态码是200，_version加1

未找到文档，则头状态码为404，_version仍然会加1

删除文档后，文档不会被立即删除，系统会在后台自动更新的

基本结构

索引(index)，类似于数据库

settings属性

number_of_shards 索引主分片数，默认5

number_of_replicas 主分片副本数，默认1

analysis 分析器配置项

类型(type)，类似于数据表

文档(doc)，类似于记录

元数据

_index: 文档所在索引，名称必须小写，不能以下划线开头，不能包含逗号

_type: 文档所在类型，名称大小写均可，不能以下划线或句号开头，不能包含逗号，长度不能超过256

_id: 文档唯一标识

通过PUT谓语将自定义的文档唯一标识指定给_id元数据

通过POST谓语并且仅提供_index和_type来让ES自动生成文档唯一标识，自动生成的标识是URL-Safe、基于Base64编码的20位GUID字符串，冲突概率几乎为0

_source: 存储和管理文档数据内容

取回一个文档的指定字段：/{index}/{type}/{id}?_source=column1,column2,...

仅取回文档的_source内容，不返回元数据内容：/{index}/{type}/{id}/_source

_all：把所有字段当做一个大字符串进行索引的特殊字段

_uid: 由_type和_id连接到一起构成，type#id

_version: 文档版本号，为从1开始的正整数，每次对文档进行修改、删除都会导致版本号增加，可利用版本号来避免重复写入问题

搜索

映射 Mapping

查看类型映射定义 GET /{_index}/_mapping/{type}

倒排索引

对全文内容进行分词及标准化，每个不重复的单词为索引，单词所在文档_id为索引值

按照搜索内容与文档的匹配数量进行倒序排列

核心简单域类型

字符串 string

index 属性，控制怎样索引字符串

analyzed 先分析再索引（默认值）

not_analyzed 索引不分析，精确值

no 不索引该字段(域)，不会被搜索到

analyzer 属性，指定分析器

整数 byte, short, integer, long

浮点数 float, double

布尔值 boolean

时间 date

可以向索引类型中添加新的映射，但不可以修改已存在的映射

复杂核心域类型

多值域(数组)

所有值的数据类型必须是相同的

值的存储是可搜索但无序的

空域，null/[]/[null] 均会被认为是空域，不会被索引

多层级对象

分析 Analysis

对文本内容进行分词，形成可用于倒排序索引的词条，再统一对这些词条进行格式标准化的过程称为分析

分析器构成

字符过滤器，去掉或转换特殊字符

分词器，将文本拆分成单个词条(即Token)

Token过滤器，对词条进行标准化处理

ES内置分析器

标准分析器，ES默认的分析器，删除绝大部分标点，并将词条转为小写

简单分析器，在不是字母的地方分割词条，转小写

空格分析器，用空格分割词条，不转小写

语言分析器，根据不同语言的特点对词条进行分割，并可以删除无用词

ES默认将所有字符串字段设置为全文域，如果需要精确检索，则需要手动指定字段的类型

测试分析器 _analyze

用来查看文本经过指定分析器分析后的结果

示例： GET /_analyze {     "analyzer": "standard",  # 指定分析器     "text": "xxxx xxxxx xxxx" # 待分析的文本 }

search API

响应体结构

hits

total 表示查询到的文档总数

hits 查询到的文档明细数组

max_score 与查询匹配的文档的_score最大值，未指定查询条件则该值为1

took: 本次查询耗费毫秒数

_shards: 参与本次查询的分片信息

total: 参与查询的总分片数

successful: 查询成功的分片数

failed: 查询失败的分片数

time_out: 本次查询是否超时，可通过在URI中加入timeout参数来设置超时时间， 10ms表示10毫秒，1s表示1秒，达到超时时间点时，协调节点会将已收到的查询结 果返回给应用端，并且关闭连接，而尚未返回结果的分片仍然会继续执行查询，但 结果不会返回给应用端

多索引多类型

/_search 在所有索引中搜索所有类型

/index1/_search 搜索index1中所有类型

/index1,index2/_search 搜索index1和index2所有类型

/a*,b*/_search 搜索以a、b 开头索引的全部类型

/index1/type1/_search 搜索索引index1中类型为type1的所有文档

/index1,index2/type1,type2/_search 搜索索引index1和index2中类型为type1和type2的文档

/_all/type1,type2/_search 在所有索引中搜索类型type1和type2的文档

分页

分页参数

size 应该返回的结果数量

from 应该跳过的初始结果数量

深度分页问题

1. 协调节点会将搜索请求分发到目标索引的所有分片上

2. 目标索引的所有分片都会执行相同的查询操作

3. 所有分片将查询结果返回给协调节点

4. 协调节点对所有查询结果再次排序，将符合查询条件的记录返回给应用端

所以，分页越深，协调节点需要处理的记录数量就越大， 为了避免给查询任务过重，所有查询结果返回数量不超过1000条

两种搜索形式

字符串查询 ad-hoc

使用简单

可读性差

安全性低

适合开发阶段使用

请求体查询 full-body search

查询：query

叶子语句 Leaf claules

match 标准查询，查询全文域时会先分析查询字符串

match_all 查询全部文档

multi_match 对多个字段进行相同的match查询

range 数字或时间范围查询

term 精确值查询，不分析查询字符串

terms 多值精确查询，只要有一个值匹配就算命中，不分析查询字符串

exists 字段有值查询

missing 字段无值查询

复合语句 Compound

bool查询

must 必须匹配的查询条件

must_not 必须不匹配的查询条件

should 只要匹配其一即可，匹配的越多文档的_score将增加

filter 必须匹配，但不影响文档的_score

constant_score查询，不变的常量评分应用于匹配的文档，常用于替代只有filter语句的bool查询

搜索结果高亮：highlight，默认为关键字添加标签，可以定制高亮标签

设置高亮属性：fields

验证查询

验证查询是否合法

示例：GET /{_index}/{_type}/_validate/query?explain {     "query": {         ...     } }

排序：sort

有评分查询默认按照_score倒叙排列

自行指定字段排序时，默认是按照字段值升序排列，可手工进行设置 {     "sort": {         "column1": { "order": "desc"}     } }

多级排序，位于前面的排序条件无法排序时才会使用后面的排序条件 {     "sort": [         {"column1": { "order": "desc"}},         {"column2": { "order": "asc" }}     ] }

多值字段排序，需要先将多值改为单值再进行排序

min 取多值中的最小值

max 取多值中的最大值

avg 取多值中的平均值

sum 取多值之和