在springBoot 中使用Elasticsearch
Elasticsearch是一個全文本搜尋引擎，專門用於處理大型數據集。根據此描述，自然使用它來存儲和搜索應用程式日誌。與Logstash和Kibana一起，它是稱為Elastic Stack的強大解決方案的一部分。
保留應用程式日誌並不是Elasticsearch的唯一一種用法。它通常用作具有主關係資料庫的應用程式的輔助資料庫。如果您必須對大型數據集執行全文搜索，或者僅存儲許多不再由應用程式修改的歷史記錄，則這種方法特別有用。當然，對於這種方法的優缺點總是存在疑問。當使用包含相同數據的兩個不同數據源時，必須首先考慮同步。您有幾種選擇。根據關係資料庫供應商的不同，您可以利用包含SQL更新歷史記錄的二進位或事務日誌。這種方法需要一些中間件，該中間件先讀取日誌，然後將數據放入Elasticsearch。您始終可以將全部責任移到資料庫端（觸發）或Elasticsearch端（JDBC插件）。 無論您如何將數據導入Elasticsearch，都必須考慮另一個問題。數據結構。您可能在關係資料庫中的幾個表之間分配了數據。如果您想利用Elasticsearch的優勢，則應將其存儲為單個類型。它迫使您保留冗餘數據，從而導致更大的磁碟空間使用。當然，如果查詢比關係資料庫中的等效查詢運行得更快，那麼這種效果是可以接受的。好的，在介紹了很長時間之後，讓我們繼續該示例。Spring Boot提供了一種通過Spring Data存儲庫與Elasticsearch進行交互的簡便方法。
1.啟用ELASTICSEARCH支持
按照Spring Boot的習慣，我們不必在上下文中提供任何其他Bean來支持對Elasticsearch的支持。我們只需要包括以下對我們的依賴pom.xml：
默認情況下，應用程式嘗試與localhost上的Elasticsearch連接。如果我們使用另一個目標URL，則需要在配置設置中覆蓋它。這是我們application.yml文件的片段，它將默認集群名稱和地址覆蓋為在Docker容器上啟動的Elasticsearch的地址：
應用程式可以通過Spring Boot Actuator health端點公開Elasticsearch連接的健康狀態。首先，您需要包括以下Maven依賴項：
默認情況下，運行狀況檢查是啟用的，並且Elasticsearch檢查是自動配置的。但是，此驗證是通過Elasticsearch Rest API客戶端執行的。在這種情況下，我們需要重寫spring.elasticsearch.rest.uris負責設置REST客戶端使用的地址的屬性：
2.運行ELASTICSEARCH
對於我們的測試，我們需要在開發模式下運行的單節點Elasticsearch實例。和往常一樣，我們將使用Docker容器。這是啟動Docker容器並將其公開在port 9200和上的命令9300。
3.建立SPRING數據倉庫
要啟用Elasticsearch存儲庫，我們只需要使用以下方法注釋main或configuration類@EnableElasticsearchRepositories：
下一步是創建擴展的存儲庫接口CrudRepository。它提供了一些基本操作，例如save或findById。如果您想要其他一些find方法，則應遵循Spring Data命名約定在接口內定義新方法。
4.實體對象
我們的實體的關係結構被平整到單個Employee包含相關對象（對象Organization，Department）。您可以將這種方法與在RDBMS中為一組相關表創建視圖進行比較。在Spring Data Elasticsearch命名法中，單個對象存儲為文檔。因此，您需要使用注釋您的對象@Document。您還應該設置Elasticsearch目標索引的名稱，類型和ID。可以使用@Field注釋配置其他映射。
5.初始化
正如我在序言中提到的那樣，您可能決定使用Elasticsearch的主要原因是需要處理大數據。因此，需要用許多文檔填充我們的測試Elasticsearch節點。如果您想一步插入許多文檔，則絕對應該使用Bulk API。批量API使在單個API調用中執行許多索引/刪除操作成為可能。這樣可以大大提高索引速度。批量操作可以通過Spring Data ElasticsearchTemplatebean 執行。它還在Spring Boot上自動配置。模板提供bulkIndex了將索引查詢列表作為輸入參數的方法。這是在應用程式啟動時插入樣本測試數據的bean的實現：
如果您不需要在啟動時插入數據，則可以通過將屬性設置initial-import.enabled為禁用該過程false。這是SampleDataSetbean 的聲明：
6.查看數據並運行查詢
假設您已經啟動了示例應用程式，負責批量索引的bean沒有被禁用，並且您有足夠的耐心等待幾個小時，直到所有數據都已插入到Elasticsearch節點中，現在它包含employee類型為100M的文檔。值得顯示有關集群的一些信息。您可以使用Elasticsearch查詢來執行此操作，也可以下載可用的GUI工具之一，例如ElasticHQ。幸運的是，ElasticHQ也可以作為Docker容器使用。您必須執行以下命令以使用ElasticHQ啟動容器：
$ docker run -d --name elastichq -p 5000:5000 elastichq/elasticsearch-hq
啟動ElasticHQ GUI後，可以通過埠5000上的Web瀏覽器訪問GUI。其Web控制臺提供有關集群，索引的基本信息，並允許執行查詢。您只需要輸入Elasticsearch節點地址，即可使用統計信息將您重定向到主儀錶板。這是ElasticHQ的主要儀錶板。
如您所見，我們有一個索引，稱為sample5個分片。這是Spring Data提供的默認值@Document，可以用field覆蓋shards。單擊它後，我們可以導航到索引管理面板。您可以對索引執行一些操作，例如清除緩存或刷新索引。您還可以查看所有分片的統計信息。
為了當前的測試目的，我有大約2500萬個（大約3GB的空間）Employee類型的文檔。我們可以執行一些測試查詢。我已經公開了兩個搜索端點：按員工姓名GET /employees/{name}和按組織名稱GET /employees/organization/{organizationName}。結果並不壓倒一切。我認為使用相同數量的數據可以為關係資料庫帶來相同的結果。
7.測試
好的，我們已經完成開發並在大數據集上執行了一些手動測試。現在，是時候創建一些在內置時間運行的集成測試了。我們可以使用允許在JUnit測試期間自動使用資料庫啟動Docker容器的庫– Testcontainers。有關此庫的更多信息，請訪問其站。幸運的是，Testcontainers支持Elasticsearch。要在測試範圍內啟用它，您首先需要包括以下對您的依賴pom.xml：
下一步是定義@ClassRule或@Rule指向Elasticsearch容器的bean。它會在測試類之前或在每個類之前自動啟動，具體取決於您使用的注釋。公開的埠號是自動生成的，因此您需要檢索設置為spring.data.elasticsearch.cluster-nodes屬性值的埠號。這是我們的JUnit集成測試的完整實現：