全文搜尋引擎 Elasticsearch 入門

2021-03-05 程式設計師的那些事

（點擊上方公眾號，可快速關注）

來源：阮一峰

www.ruanyifeng.com/blog/2017/08/elasticsearch.html

如有好文章投稿，請點擊 → 這裡了解詳情

全文搜索屬於最常見的需求，開源的 Elasticsearch （以下簡稱 Elastic）是目前全文搜尋引擎的首選。

它可以快速地儲存、搜索和分析海量數據。維基百科、Stack Overflow、Github 都採用它。

Elastic 的底層是開源庫 Lucene。但是，你沒法直接用 Lucene，必須自己寫代碼去調用它的接口。Elastic 是 Lucene 的封裝，提供了 REST API 的操作接口，開箱即用。

本文從零開始，講解如何使用 Elastic 搭建自己的全文搜尋引擎。每一步都有詳細的說明，大家跟著做就能學會。

Elastic 需要 Java 8 環境。如果你的機器還沒安裝 Java，可以參考這篇文章，注意要保證環境變量JAVA_HOME正確設置。

安裝完 Java，就可以跟著官方文檔安裝 Elastic。直接下載壓縮包比較簡單。

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip
$ unzip elasticsearch-5.5.1.zip
$ cd elasticsearch-5.5.1/

接著，進入解壓後的目錄，運行下面的命令，啟動 Elastic。

$ ./bin/elasticsearch

如果這時報錯"max virtual memory areas vm.max*map*count [65530] is too low"，要運行下面的命令。

$ sudo sysctl -w vm.max_map_count=262144

如果一切正常，Elastic 就會在默認的9200埠運行。這時，打開另一個命令行窗口，請求該埠，會得到說明信息。

{
"name" : "atntrTf",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "tf9250XhQ6ee4h7YI11anA",
"version" : {
"number" : "5.5.1",
"build_hash" : "19c13d0",
"build_date" : "2017-07-18T20:44:24.823Z",
"build_snapshot" : false,
"lucene_version" : "6.6.0"
},
"tagline" : "You Know, for Search"
}

上面代碼中，請求9200埠，Elastic 返回一個 JSON 對象，包含當前節點、集群、版本等信息。

按下 Ctrl + C，Elastic 就會停止運行。

默認情況下，Elastic 只允許本機訪問，如果需要遠程訪問，可以修改 Elastic 安裝目錄的config/elasticsearch.yml文件，去掉network.host的注釋，將它的值改成0.0.0.0，然後重新啟動 Elastic。

network.host: 0.0.0.0

上面代碼中，設成0.0.0.0讓任何人都可以訪問。線上服務不要這樣設置，要設成具體的 IP。

Elastic 本質上是一個分布式資料庫，允許多臺伺服器協同工作，每臺伺服器可以運行多個 Elastic 實例。

單個 Elastic 實例稱為一個節點（node）。一組節點構成一個集群（cluster）。

Elastic 會索引所有欄位，經過處理後寫入一個反向索引（Inverted Index）。查找數據的時候，直接查找該索引。

所以，Elastic 數據管理的頂層單位就叫做 Index（索引）。它是單個資料庫的同義詞。每個 Index （即資料庫）的名字必須是小寫。

下面的命令可以查看當前節點的所有 Index。

$ curl -X GET '[http://localhost](http://localhost/):9200/_cat/indices?v'

Index 裡面單條的記錄稱為 Document（文檔）。許多條 Document 構成了一個 Index。

Document 使用 JSON 格式表示，下面是一個例子。


{
"user": "張三",
"title": "工程師",
"desc": "資料庫管理"
}

同一個 Index 裡面的 Document，不要求有相同的結構（scheme），但是最好保持相同，這樣有利於提高搜索效率。

Document 可以分組，比如weather這個 Index 裡面，可以按城市分組（北京和上海），也可以按氣候分組（晴天和雨天）。這種分組就叫做 Type，它是虛擬的邏輯分組，用來過濾 Document。

不同的 Type 應該有相似的結構（schema），舉例來說，id欄位不能在這個組是字符串，在另一個組是數值。這是與關係型資料庫的表的一個區別。性質完全不同的數據（比如products和logs）應該存成兩個 Index，而不是一個 Index 裡面的兩個 Type（雖然可以做到）。

下面的命令可以列出每個 Index 所包含的 Type。

$ curl 'localhost:9200/_mapping?pretty=true'

根據規劃，Elastic 6.x 版只允許每個 Index 包含一個 Type，7.x 版將會徹底移除 Type。

新建 Index，可以直接向 Elastic 伺服器發出 PUT 請求。下面的例子是新建一個名叫weather的 Index。

$ curl -X PUT 'localhost:9200/weather'

伺服器返回一個 JSON 對象，裡面的acknowledged欄位表示操作成功。


{
"acknowledged":true,
"shards_acknowledged":true
}

然後，我們發出 DELETE 請求，刪除這個 Index。

$ curl -X DELETE 'localhost:9200/weather'

首先，安裝中文分詞插件。這裡使用的是 ik，也可以考慮其他插件（比如 smartcn）。

$ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip

上面代碼安裝的是5.5.1版的插件，與 Elastic 5.5.1 配合使用。

接著，重新啟動 Elastic，就會自動加載這個新安裝的插件。

然後，新建一個 Index，指定需要分詞的欄位。這一步根據數據結構而異，下面的命令只針對本文。基本上，凡是需要搜索的中文欄位，都要單獨設置一下。


$ curl -X PUT 'localhost:9200/accounts' -d '
{
  "mappings": {
    "person": {
      "properties": {
        "user": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        },
        "title": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        },
        "desc": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        }
      }
    }
  }
}'

上面代碼中，首先新建一個名稱為accounts的 Index，裡面有一個名稱為person的 Type。person有三個欄位。

這三個欄位都是中文，而且類型都是文本（text），所以需要指定中文分詞器，不能使用默認的英文分詞器。

Elastic 的分詞器稱為 analyzer。我們對每個欄位指定分詞器。

"user": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
}

上面代碼中，analyzer是欄位文本的分詞器，search_analyzer是搜索詞的分詞器。ik_max_word分詞器是插件ik提供的，可以對文本進行最大數量的分詞。

向指定的 /Index/Type 發送 PUT 請求，就可以在 Index 裡面新增一條記錄。比如，向/accounts/person發送請求，就可以新增一條人員記錄。


$ curl -X PUT 'localhost:9200/accounts/person/1' -d '
{
  "user": "張三",
  "title": "工程師",
  "desc": "資料庫管理"
}'

伺服器返回的 JSON 對象，會給出 Index、Type、Id、Version 等信息。


{
"_index":"accounts",
"_type":"person",
"_id":"1",
"_version":1,
"result":"created",
"_shards":{"total":2,"successful":1,"failed":0},
"created":true
}

如果你仔細看，會發現請求路徑是/accounts/person/1，最後的1是該條記錄的 Id。它不一定是數字，任意字符串（比如abc）都可以。

新增記錄的時候，也可以不指定 Id，這時要改成 POST 請求。

$ curl -X POST 'localhost:9200/accounts/person' -d '
{
  "user": "李四",
  "title": "工程師",
  "desc": "系統管理"
}'

上面代碼中，向/accounts/person發出一個 POST 請求，添加一個記錄。這時，伺服器返回的 JSON 對象裡面，_id欄位就是一個隨機字符串。

{
"_index":"accounts",
"_type":"person",
"_id":"AV3qGfrC6jMbsbXb6k1p",
"_version":1,
"result":"created",
"_shards":{"total":2,"successful":1,"failed":0},
"created":true
}

注意，如果沒有先創建 Index（這個例子是accounts），直接執行上面的命令，Elastic 也不會報錯，而是直接生成指定的 Index。所以，打字的時候要小心，不要寫錯 Index 的名稱。

向/Index/Type/Id發出 GET 請求，就可以查看這條記錄。

$ curl 'localhost:9200/accounts/person/1?pretty=true'

上面代碼請求查看/accounts/person/1這條記錄，URL 的參數pretty=true表示以易讀的格式返回。

返回的數據中，found欄位表示查詢成功，_source欄位返回原始記錄。

{
"_index" : "accounts",
"_type" : "person",
"_id" : "1",
"_version" : 1,
"found" : true,
"_source" : {
"user" : "張三",
"title" : "工程師",
"desc" : "資料庫管理"
}
}

如果 Id 不正確，就查不到數據，found欄位就是false。

$ curl 'localhost:9200/weather/beijing/abc?pretty=true'
{
"_index" : "accounts",
"_type" : "person",
"_id" : "abc",
"found" : false
}

刪除記錄就是發出 DELETE 請求。

$ curl -X DELETE 'localhost:9200/accounts/person/1'

這裡先不要刪除這條記錄，後面還要用到。

更新記錄就是使用 PUT 請求，重新發送一次數據。


$ curl -X PUT 'localhost:9200/accounts/person/1' -d '
{
    "user" : "張三",
    "title" : "工程師",
    "desc" : "資料庫管理，軟體開發"
}'

{
"_index":"accounts",
"_type":"person",
"_id":"1",
"_version":2,
"result":"updated",
"_shards":{"total":2,"successful":1,"failed":0},
"created":false
}

上面代碼中，我們將原始數據從"資料庫管理"改成"資料庫管理，軟體開發"。 返回結果裡面，有幾個欄位發生了變化。


"_version" : 2,
"result" : "updated",
"created" : false

可以看到，記錄的 Id 沒變，但是版本（version）從1變成2，操作類型（result）從created變成updated，created欄位變成false，因為這次不是新建記錄。

使用 GET 方法，直接請求/Index/Type/_search，就會返回所有記錄。


$ curl 'localhost:9200/accounts/person/_search'

{
"took":2,
"timed_out":false,
"_shards":{"total":5,"successful":5,"failed":0},
"hits":{
"total":2,
"max_score":1.0,
"hits":[
{
"_index":"accounts",
"_type":"person",
"_id":"AV3qGfrC6jMbsbXb6k1p",
"_score":1.0,
"_source": {
"user": "李四",
"title": "工程師",
"desc": "系統管理"
}
},
{
"_index":"accounts",
"_type":"person",
"_id":"1",
"_score":1.0,
"_source": {
"user" : "張三",
"title" : "工程師",
"desc" : "資料庫管理，軟體開發"
}
}
]
}
}

上面代碼中，返回結果的 took欄位表示該操作的耗時（單位為毫秒），timed_out欄位表示是否超時，hits欄位表示命中的記錄，裡面子欄位的含義如下。

返回的記錄中，每條記錄都有一個_score欄位，表示匹配的程序，默認是按照這個欄位降序排列。

Elastic 的查詢非常特別，使用自己的查詢語法，要求 GET 請求帶有數據體。


$ curl 'localhost:9200/accounts/person/_search' -d '
{
  "query" : { "match" : { "desc" : "軟體" }}
}'

上面代碼使用 Match 查詢，指定的匹配條件是desc欄位裡面包含"軟體"這個詞。返回結果如下。

{
"took":3,
"timed_out":false,
"_shards":{"total":5,"successful":5,"failed":0},
"hits":{
"total":1,
"max_score":0.28582606,
"hits":[
{
"_index":"accounts",
"_type":"person",
"_id":"1",
"_score":0.28582606,
"_source": {
"user" : "張三",
"title" : "工程師",
"desc" : "資料庫管理，軟體開發"
}
}
]
}
}

Elastic 默認一次返回10條結果，可以通過size欄位改變這個設置。


$ curl 'localhost:9200/accounts/person/_search' -d '
{
  "query" : { "match" : { "desc" : "管理" }},
  "size": 1
}'

上面代碼指定，每次只返回一條結果。

還可以通過from欄位，指定位移。


$ curl 'localhost:9200/accounts/person/_search' -d '
{
  "query" : { "match" : { "desc" : "管理" }},
  "from": 1,
  "size": 1
}'

上面代碼指定，從位置1開始（默認是從位置0開始），只返回一條結果。

如果有多個搜索關鍵字， Elastic 認為它們是or關係。


$ curl 'localhost:9200/accounts/person/_search' -d '
{
  "query" : { "match" : { "desc" : "軟體 系統" }}
}'

上面代碼搜索的是軟體 or 系統。

如果要執行多個關鍵詞的and搜索，必須使用布爾查詢。

$ curl 'localhost:9200/accounts/person/_search' -d '
{
  "query": {
    "bool": {
      "must": [
        { "match": { "desc": "軟體" } },
        { "match": { "desc": "系統" } }
      ]
    }
  }
}'

ElasticSearch 官方手冊 (https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html)

A Practical Introduction to Elasticsearch (https://www.elastic.co/blog/a-practical-introduction-to-elasticsearch)

看完本文有收穫？請轉發分享給更多人

關注「程式設計師的那些事」，提高編程技能

相關焦點

  • 全文搜尋引擎 Elasticsearch 入門教程
    如有好文章投稿，請點擊 → 這裡了解詳情全文搜索屬於最常見的需求，開源的 Elasticsearch （以下簡稱 Elastic）是目前全文搜尋引擎的首選。本文從零開始，講解如何使用 Elastic 搭建自己的全文搜尋引擎。每一步都有詳細的說明，大家跟著做就能學會。Elastic 需要 Java 8 環境。如果你的機器還沒安裝 Java，可以參考這篇文章，注意要保證環境變量JAVA_HOME正確設置。安裝完 Java，就可以跟著官方文檔安裝 Elastic。直接下載壓縮包比較簡單。
  • 全文搜尋引擎 Elasticsearch 集群搭建入門教程
    它提供了一個分布式多用戶能力的全文搜尋引擎，基於 RESTful web 接口。Elasticsearch 是用 Java 開發的，並作為 Apache 許可條款下的開放源碼發布，是當前流行的企業級搜尋引擎。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。基百科、Stack Overflow、Github 都採用它。
  • 全文搜尋引擎Elasticsearch入門教程
    全文搜索屬於最常見的需求，開源的 Elasticsearch （以下簡稱 Elastic）是目前全文搜尋引擎的首選。
  • elasticsearch入門實戰
    1.介紹Elasticsearch 是一個高度可擴展的開源全文搜索和分析引擎。
  • 全文搜尋引擎選 ElasticSearch 還是 Solr?
    由 ReyCG 精心繪製並提供什麼是全文搜尋引擎？百度百科中的定義：全文搜尋引擎是目前廣泛應用的主流搜尋引擎。那為什麼還要全文搜尋引擎呢？我們主要從以下幾個原因分析：數據類型全文索引搜索支持非結構化數據的搜索，可以更好地快速搜索大量存在的任何單詞或單詞組的非結構化文本。
  • springboot整合elasticsearch全文檢索入門
    elasticsearch與kibana https://www.elastic.co/start# 依賴springBootVersion = '2.0.5.RELEASE'compile group: 'org.springframework.boot', name: 'spring-boot-starter-data-elasticsearch'
  • Spring Boot系列(十)Spring Boot整合Elasticsearch全文搜尋引擎
    全文搜尋引擎，需要springboot實戰完整視頻教程的，點擊這裡！Spring Boot為Elasticsearch及Spring Data Elasticsearch提供的基於它的抽象提供了基本的配置。Spring Boot提供了一個用於聚集依賴的spring-boot-starter-data-elasticsearch 'StarterPOM'。
  • ElasticSearch安裝
    它提供了一個分布式多用戶能力的全文搜尋引擎[2]，基於RESTful web接口。Elasticsearch是用Java語言開發的，並作為Apache許可條款下的開放源碼發布，是一種流行的企業級搜尋引擎。Elasticsearch用於雲計算[3]中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。
  • ElasticSearch入門 附.NET Core例子
    Elasticsearch是基於Lucene的搜尋引擎。它提供了一個分布式，支持多租戶的全文搜尋引擎，它具有HTTP Web界面和無模式JSON文檔。Elasticsearch是用Java開發的，根據Apache許可條款作為開源發布。
  • Linxu安裝ElasticSearch
    它提供了一個分布式多用戶能力的全文搜尋引擎，基於RESTful web接口。Elasticsearch是用Java語言開發的，並作為Apache許可條款下的開放源碼發布，是一種流行的企業級搜尋引擎。Elasticsearch用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。
  • 基於 ElasticSearch 實現站內全文搜索
    在國內的如百度這樣的搜尋引擎也屬於這個領域，要自己實現一個搜尋引擎是非常難的，不過信息查找對每一個公司都非常重要，對於開發人員也可以選則一些市場上的開源項目來構建自己的站內搜尋引擎，本文將通過ElasticSearch來構建一個這樣的信息檢索項目。1 技術選型1.1 ElasticSearchElasticsearch是一個基於Lucene的搜索伺服器。
  • Spring Data ElasticSearch 使用
    官方網站：http://projects.spring.io/spring-data-elasticsearch/1.2 Spring Data ElasticSearch入門1）導入Spring Data ElasticSearch坐標<?xml version="1.0" encoding="UTF-8"?
  • Elasticsearch快速入門,掌握這些剛剛好!
    記得剛接觸Elasticsearch的時候，沒找啥資料，直接看了遍Elasticsearch的中文官方文檔，中文文檔很久沒更新了，一直都是2.3的版本。最近又重新看了遍6.0的官方文檔，由於官方文檔介紹的內容比較多，每次看都很費力，所以這次整理了其中最常用部分，寫下了這篇入門教程，希望對大家有所幫助。
  • go-ElasticSearch入門看這一篇就夠了(一)
    這回你們沒有看錯，今天帶來的就是go-elastic的入門教程，打了好久的預告，今天終於上線了。因為筆主本人也是一個新手，所以也不敢講太深入的東西，這一篇完全是一個入門級別的教程，適合初學者，所以本文主打通俗易懂教程，幫助那些和我一樣剛入門的朋友，快速應用到開發中。
  • SpringBoot+ ElasticSearch實現全文搜索功能
    >前端：html後端：springboot+ElasticSearchjdk:1.8及以上資料庫：沒有用到mysql （數據直接存到es表）掃碼關注回復【搜尋引擎;import org.elasticsearch.action.search.SearchResponse;import org.elasticsearch.client.RestClient;import org.elasticsearch.client.RestHighLevelClient;import org.elasticsearch.common.text.Text;import org.elasticsearch.index.query
  • ElasticSearch 極簡教程
    它提供了一個分布式多用戶能力的全文搜尋引擎，基於RESTful web接口。Elasticsearch是用Java開發的，並作為Apache許可條款下的開放源碼發布，是當前流行的企業級搜尋引擎。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。ElasticSearch 架構
  • 芋道 Spring Boot Elasticsearch 入門
    對應的庫是：elasticsearch-rest-client + org.elasticsearch.client.rest，提供 low-level rest API 。elasticsearch-rest-high-level-client ，提供 high-level rest API 。從 Elasticsearch 6.0.0-beta1 開始提供。
  • Elasticsearch專題
    Elasticsearch入門（環境搭建)ES是什麼基於Lucene的一個開源的，支持分布式的
  • 走進大數據丨ElasticSearch6.X的JavaAPI使用一
    ;import org.elasticsearch.action.get.MultiGetItemResponse;import org.elasticsearch.action.get.MultiGetResponse;import org.elasticsearch.action.index.IndexRequest;import org.elasticsearch.action.index.IndexResponse
  • 搜尋引擎 Elasticsearch 最佳實踐!
    [root@elk-node03 ~]# vim /etc/elasticsearch/elasticsearch.yml.... -cp /usr/share/elasticsearch/lib/elasticsearch-2.4.6.jar:/usr/share/elasticsearch/lib/* org.elasticsearch.bootstrap.Elasticsearch start -Des.pidfile=/var/run/elasticsearch/elasticsearch.pid -Des.default.path.home