一、什么是 ElasticSearch

ElasticSearch是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

1.1 基础概念

索引:含有相同属性的文档集合

类型:索引可以定义一个或多个类型,文档必须属于一个类型

文档:可以被索引的基础数据单位

分片:每个索引都有多个分片,每个分片都是 Lucene 索引

备份:拷贝一份分片就完成分片的备份

形象比喻:

百货大楼里有各式各样的商品,例如书籍、笔、水果等。书籍可以根据内容划分成不同种类,如科技类、教育类、悬疑推理等。悬疑推理类的小说中比较有名气的有《福尔摩斯探案集》、《白夜行》等。

百货大楼 --> ElasticSearch 数据库

书籍 --> 索引

悬疑推理 --> 类型

白夜行 --> 文档

1.2 应用场景

  • 海量数据分析引擎
  • 站内搜索引擎
  • 数据仓库

二、安装和配置

本次测试使用一台 ip 为 192.168.2.41 的虚拟机(Centos7),建议使用 7.x 版本,笔者之前使用 6.x 启动服务时报出各种错误

2.1 依赖环境

JDK 和 NodeJS

2.2 下载

登陆 elasticSearch 官网下载文件。

2.3 安装

1
2
3
tar -zxvf elasticsearch-5.6.1.tar.gz -C /usr

cd elasticsearch-5.6.1

elasticsearch 文件目录如下图:

2.4 修改配置文件

1
vim elasticsearch-5.6.1/config/elasticsearch.yml

修改如下配置:

1
2
3
4
5
6
7
8
9
10
11
12
# 允许远程机器访问
network.host: 0.0.0.0

path.data: /usr/elasticsearch-5.6.1/data
path.logs: /usr/elasticsearch-5.6.1/logs

http.cors.enabled: true
http.cors.allow-origin: /.*/

# 集群时配置
#discovery.zen.ping.unicast.hosts: ["0.0.0.0:9300","0.0.0.0:9301"]
#discovery.zen.minimum_master_nodes: 1

2.5 启动

启动之前,请先查看“踩坑提醒”。

1)启动服务:

1
bin/elasticsearch 或 bin/elasticsearch -d # -d 表示后台启动

踩坑提醒 1:

因为 Elasticsearch 可以执行脚本文件,为了安全性,默认不允许通过 root 用户启动服务。我们需要新创建用户名和用户组启动服务

1
2
3
4
5
6
7
8
9
10
11
#增加 es 组
groupadd es

#增加 es 用户并附加到 es 组
useradd es -g es -p es

#给目录权限
chown -R es:es elasticsearch-5.6.1

#使用es用户
su es

踩坑提醒 2:

启动报错:max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

命令行键入:

1
ulimit -n 65536

踩坑提醒 3:

启动报错:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

1
2
3
vim /etc/sysctl.conf

vm.max_map_count=262144

保存,并执行 sysctl -p。

在启动过程中,Centos 环境下可能还会报错,具体解决方案请参照文章末尾提供的资料

2)通过浏览器访问 http://192.168.2.41:9200 ,当出现如下内容说明启动成功:

1
2
3
4
5
6
7
8
9
10
11
12
13
{
"name" : "OwUwJe-",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "vanzxnpaRumdRKiYic3f5A",
"version" : {
"number" : "5.6.1",
"build_hash" : "667b497",
"build_date" : "2017-09-14T19:22:05.189Z",
"build_snapshot" : false,
"lucene_version" : "6.6.1"
},
"tagline" : "You Know, for Search"
}

2.6 安装插件

访问 http://192.168.2.41:9200 查看内容显示效果不友好,因此,我们需要安装一个名为 elasticsearch-head 的插件,让内容显示效果比较舒适。

登陆 GitHub 网站,搜索 mobz/elasticsearch-head ,将其下载到本地。

1
2
3
4
5
6
7
8
9
wget https://github.com/mobz/elasticsearch-head/archive/master.zip

unzip master.zip

cd elasticsearch-head-master

npm install

npm run start

通过上述命令的操作,我们已经安装好 elasticsearch-head 插件。通过浏览器访问 http://192.168.2.41:9100,如下图:

图中我们发现 elasticsearch-head 插件和 Elasticsearch 服务并没有建立连接,所以我们还需要修改 Elasticsearch 的配置文件:

1
2
3
4
5
6
7
8
cd elasticsearch-5.6.1

vim config/elasticsearch.yml

# 在文件末尾添加 2 段配置

http.cors.enabled: true
http.cors.allow-origin: "*"

保存文件后,分别起来 2 个程序:

1
2
3
4
5
6
7
8
9

cd elasticsearch-5.6.1

# 后台启动 elasticSearch 服务
bin/elasticsearch -d

cd elasticsearch-head-master

npm run start

通过浏览器访问 http://192.168.2.41:9100,如下图:

通过插件创建索引

查看索引基本情况

该插件能直接对 Elasticsearch 的数据进行增删改查,因此存在安全性的问题。建议生产环境下不要使用该插件!

三、使用

Elasticsearch 支持 RESTFUL 风格 API,其 API 基本格式如下:

1
http://<ip>:<port>/<索引>/<类型>/<文档id>

3.1 创建/删除索引

为了方便测试,我们使用 POSTMAN 工具进行接口的请求。

创建一个非结构化的索引,需要使用 PUT 请求。例如创建一个名为 book 的索引。

执行:

1
[PUT] http://192.168.2.41:9200/book

返回结果:

1
2
3
4
5
{
"acknowledged": true,
"shards_acknowledged": true,
"index": "book"
}

创建一个结构化的索引,如下图:

删除一个索引,需要使用 DELETE 请求。

执行:

1
[DELETE] http://192.168.2.41:9200/book

返回结果:

1
2
3
{
"acknowledged": true
}

3.2 插入数据

插入指定 ID 的数据,需要使用 PUT 请求。如下图:

插入不指定 ID 的数据,需要使用 POST 请求。如下图:

3.3 修改数据

修改数据,需要使用 POST 请求,且 URL 需要添加 _update

执行:

1
[POST] http://192.168.2.41:9200/fruit/apple/1/_update

请求参数(修改颜色):

1
2
3
4
5
{
"doc": {
"color": "black"
}
}

返回结果:

1
2
3
4
5
6
7
8
9
10
11
12
{
"_index": "fruit",
"_type": "apple",
"_id": "1",
"_version": 7,
"result": "updated",
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
}
}

3.4 删除数据

修改数据,需要使用 DELETE 请求。

执行:

1
[DELETE] http://192.168.2.41:9200/fruit/apple/1

返回结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
{
"found": true,
"_index": "fruit",
"_type": "apple",
"_id": "1",
"_version": 8,
"result": "deleted",
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
}
}

3.5 查找数据

查询指定ID的数据,需要使用 GET 请求。

执行:

1
[GET] http://192.168.2.41:9200/fruit/apple/AV69_4DDdZbC-YBdV-U3

返回结果:

1
2
3
4
5
6
7
8
9
10
11
12
{
"_index": "fruit",
"_type": "apple",
"_id": "AV69_4DDdZbC-YBdV-U3",
"_version": 1,
"found": true,
"_source": {
"color": "green",
"weight": 1,
"createTime": "2017-09-26 19:05:26"
}
}

条件查询,需要使用 POST 请求。

执行:

1
[POST] http://192.168.2.41:9200/fruit/apple/_search

请求参数(查找 color = "green"):

1
2
3
4
5
6
7
{
"query": {
"match":{
"color": "green"
}
}
}

返回结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
{
"took": 8,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 0.2876821,
"hits": [
{
"_index": "fruit",
"_type": "apple",
"_id": "AV69_4DDdZbC-YBdV-U3",
"_score": 0.2876821,
"_source": {
"color": "green",
"weight": 1,
"createTime": "2017-09-26 19:05:26"
}
}
]
}
}

补充:IK分词器

下载 elasticsearch-analysis-ik ,解压后将其放到 elasticsearch 目录下的 plugins 中,重启 elasticsearch 服务即可。

四、参考资料