一、什么是 ElasticSearch

ElasticSearch是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

# 1.1 基础概念

索引:含有相同属性的文档集合

类型:索引可以定义一个或多个类型,文档必须属于一个类型

文档:可以被索引的基础数据单位

分片:每个索引都有多个分片,每个分片都是 Lucene 索引

备份:拷贝一份分片就完成分片的备份

形象比喻:

百货大楼里有各式各样的商品,例如书籍、笔、水果等。书籍可以根据内容划分成不同种类,如科技类、教育类、悬疑推理等。悬疑推理类的小说中比较有名气的有《福尔摩斯探案集》、《白夜行》等。

百货大楼 --> ElasticSearch 数据库

书籍 --> 索引

悬疑推理 --> 类型

白夜行 --> 文档

# 1.2 应用场景

  • 海量数据分析引擎
  • 站内搜索引擎
  • 数据仓库

二、安装和配置

本次测试使用一台 ip 为 192.168.2.41 的虚拟机(Centos7),建议使用 7.x 版本,笔者之前使用 6.x 启动服务时报出各种错误

# 2.1 依赖环境

JDK 和 NodeJS

# 2.2 下载

登陆 elasticSearch 官网下载文件。

# 2.3 安装

  1. tar -zxvf elasticsearch-5.6.1.tar.gz -C /usr
  2. cd elasticsearch-5.6.1

elasticsearch 文件目录如下图:

# 2.4 启动

启动之前,请先查看“踩坑提醒”。

1)启动服务:

  1. bin/elasticsearch 或 bin/elasticsearch -d # -d 表示后台启动

踩坑提醒 1:

因为 Elasticsearch 可以执行脚本文件,为了安全性,默认不允许通过 root 用户启动服务。我们需要新创建用户名和用户组启动服务

  1. #增加 es 组
  2. groupadd es
  3. #增加 es 用户并附加到 es 组
  4. useradd es -g es -p es
  5. #给目录权限
  6. chown -R es:es elasticsearch-5.6.1
  7. #使用es用户
  8. su es

踩坑提醒 2:

默认情况下,Elasticsearch 只允许本机访问,如果需要远程访问,需要修改其配置文件

  1. vim config/elasticsearch.yml
  2. # 去掉 network.host 前边的注释,将它的值改成0.0.0.0
  3. network.host: 0.0.0.0

踩坑提醒 3:

启动报错:max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

命令行键入:

  1. ulimit -n 65536

踩坑提醒 4:

启动报错:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

  1. vim /etc/sysctl.conf
  2. vm.max_map_count=262144

保存,并执行 sysctl -p。

在启动过程中,Centos 环境下可能还会报错,具体解决方案请参照文章末尾提供的资料

2)通过浏览器访问 http://192.168.2.41:9200 ,当出现如下内容说明启动成功:

  1. {
  2. "name" : "OwUwJe-",
  3. "cluster_name" : "elasticsearch",
  4. "cluster_uuid" : "vanzxnpaRumdRKiYic3f5A",
  5. "version" : {
  6. "number" : "5.6.1",
  7. "build_hash" : "667b497",
  8. "build_date" : "2017-09-14T19:22:05.189Z",
  9. "build_snapshot" : false,
  10. "lucene_version" : "6.6.1"
  11. },
  12. "tagline" : "You Know, for Search"
  13. }

# 2.5 安装插件

访问 http://192.168.2.41:9200 查看内容显示效果不友好,因此,我们需要安装一个名为 elasticsearch-head 的插件,让内容显示效果比较舒适。

登陆 GitHub 网站,搜索 mobz/elasticsearch-head ,将其下载到本地。

  1. wget https://github.com/mobz/elasticsearch-head/archive/master.zip
  2. unzip master.zip
  3. cd elasticsearch-head-master
  4. npm install
  5. npm run start

通过上述命令的操作,我们已经安装好 elasticsearch-head 插件。通过浏览器访问 http://192.168.2.41:9100,如下图:

图中我们发现 elasticsearch-head 插件和 Elasticsearch 服务并没有建立连接,所以我们还需要修改 Elasticsearch 的配置文件:

  1. cd elasticsearch-5.6.1
  2. vim config/elasticsearch.yml
  3. # 在文件末尾添加 2 段配置
  4. http.cors.enabled: true
  5. http.cors.allow-origin: "*"

保存文件后,分别起来 2 个程序:

  1. cd elasticsearch-5.6.1
  2. # 后台启动 elasticSearch 服务
  3. bin/elasticsearch -d
  4. cd elasticsearch-head-master
  5. npm run start

通过浏览器访问 http://192.168.2.41:9100,如下图:

通过插件创建索引

查看索引基本情况

该插件能直接对 Elasticsearch 的数据进行增删改查,因此存在安全性的问题。建议生产环境下不要使用该插件!

三、使用

Elasticsearch 支持 RESTFUL 风格 API,其 API 基本格式如下:

  1. http://<ip>:<port>/<索引>/<类型>/<文档id>

# 3.1 创建/删除索引

为了方便测试,我们使用 POSTMAN 工具进行接口的请求。

创建一个非结构化的索引,需要使用 PUT 请求。例如创建一个名为 book 的索引。

执行:

  1. [PUT] http://192.168.2.41:9200/book

返回结果:

  1. {
  2. "acknowledged": true,
  3. "shards_acknowledged": true,
  4. "index": "book"
  5. }

创建一个结构化的索引,如下图:

删除一个索引,需要使用 DELETE 请求。

执行:

  1. [DELETE] http://192.168.2.41:9200/book

返回结果:

  1. {
  2. "acknowledged": true
  3. }

# 3.2 插入数据

插入指定 ID 的数据,需要使用 PUT 请求。如下图:

插入不指定 ID 的数据,需要使用 POST 请求。如下图:

# 3.3 修改数据

修改数据,需要使用 POST 请求,且 URL 需要添加 _update

执行:

  1. [POST] http://192.168.2.41:9200/fruit/apple/1/_update

请求参数(修改颜色):

  1. {
  2. "doc": {
  3. "color": "black"
  4. }
  5. }

返回结果:

  1. {
  2. "_index": "fruit",
  3. "_type": "apple",
  4. "_id": "1",
  5. "_version": 7,
  6. "result": "updated",
  7. "_shards": {
  8. "total": 2,
  9. "successful": 1,
  10. "failed": 0
  11. }
  12. }

# 3.4 删除数据

修改数据,需要使用 DELETE 请求。

执行:

  1. [DELETE] http://192.168.2.41:9200/fruit/apple/1

返回结果:

  1. {
  2. "found": true,
  3. "_index": "fruit",
  4. "_type": "apple",
  5. "_id": "1",
  6. "_version": 8,
  7. "result": "deleted",
  8. "_shards": {
  9. "total": 2,
  10. "successful": 1,
  11. "failed": 0
  12. }
  13. }

# 3.5 查找数据

查询指定ID的数据,需要使用 GET 请求。

执行:

  1. [GET] http://192.168.2.41:9200/fruit/apple/AV69_4DDdZbC-YBdV-U3

返回结果:

  1. {
  2. "_index": "fruit",
  3. "_type": "apple",
  4. "_id": "AV69_4DDdZbC-YBdV-U3",
  5. "_version": 1,
  6. "found": true,
  7. "_source": {
  8. "color": "green",
  9. "weight": 1,
  10. "createTime": "2017-09-26 19:05:26"
  11. }
  12. }

条件查询,需要使用 POST 请求。

执行:

  1. [POST] http://192.168.2.41:9200/fruit/apple/_search

请求参数(查找 color = "green"):

  1. {
  2. "query": {
  3. "match":{
  4. "color": "green"
  5. }
  6. }
  7. }

返回结果:

  1. {
  2. "took": 8,
  3. "timed_out": false,
  4. "_shards": {
  5. "total": 5,
  6. "successful": 5,
  7. "skipped": 0,
  8. "failed": 0
  9. },
  10. "hits": {
  11. "total": 1,
  12. "max_score": 0.2876821,
  13. "hits": [
  14. {
  15. "_index": "fruit",
  16. "_type": "apple",
  17. "_id": "AV69_4DDdZbC-YBdV-U3",
  18. "_score": 0.2876821,
  19. "_source": {
  20. "color": "green",
  21. "weight": 1,
  22. "createTime": "2017-09-26 19:05:26"
  23. }
  24. }
  25. ]
  26. }
  27. }

四、参考资料