全文搜尋引擎 Elasticsearch 集群搭建入門教程

介紹

ElasticSearch 是一個基於 Lucene 的搜索伺服器。它提供了一個分布式多用戶能力的全文搜尋引擎，基於 RESTful web 接口。Elasticsearch 是用 Java 開發的，並作為 Apache 許可條款下的開放源碼發布，是當前流行的企業級搜尋引擎。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。基百科、Stack Overflow、Github 都採用它。

本文從零開始，講解如何使用 Elasticsearch 搭建自己的全文搜尋引擎。每一步都有詳細的說明，大家跟著做就能學會。

環境

1、VMware

2、Centos 6.6

3、Elasticsearch 5.5.2

4、JDK 1.8

VMware 安裝以及在 VMware 中安裝 Centos 這個就不說了，環境配置直接默認就好，不過分配給機器的內存最好設置大點（建議 2G），

使用 dhclient 命令來自動獲取 IP 地址，查看獲取的 IP 地址則使用命令 ip addr 或者 ifconfig ，則會看到網卡信息和 lo 卡信息。

給虛擬機額中的 linux 設置固定的 ip（因為後面發現每次機器重啟後又要重新使用 dhclient 命令來自動獲取 IP 地址）

1vim  /etc/sysconfig/network-scripts/ifcfg-eth0

修改：

1onboot=yes
2bootproto=static

增加：（下面可設置可不設置）

1IPADDR=192.168.1.113            網卡IP位址
2GATEWAY=192.168.1.1
3NETMASK=255.255.255.0

設置好之後，把網絡服務重啟一下， service network restart

修改 ip 地址參考： http://jingyan.baidu.com/article/e4d08ffdd417660fd3f60d70.html

關注我

大環境都準備好了，下面開始安裝步驟：

安裝 JDK 1.8

先卸載自帶的 openjdk，查找 openjdk

1rpm -qa | grep java

卸載 openjdk

1yum -y remove  java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el65.x8664
2yum -y remove java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64

解壓 JDK 安裝包：

附上jdk1.8的下載地址：
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

解壓完成後配置一下環境變量就 ok

1、在/usr/local/下創建Java文件夾

1cd /usr/local/                                    進入目錄
2mkdir java                                     新建java目錄

2、文件夾創建完畢，把安裝包拷貝到 Java 目錄中，然後解壓 jdk 到當前目錄

1cp /usr/jdk-8u144-linux-x64.tar.gz /usr/local/java/    **注意匹配你自己的文件名**  拷貝到java目錄
2tar -zxvf jdk-8u144-linux-x64.tar.gz       解壓到當前目錄（Java目錄）

3、解壓完之後，Java目錄中會出現一個jdk1.8.0_144的目錄，這就解壓完成了。之後配置一下環境變量。
編輯/etc/下的profile文件，配置環境變量

1vi /etc/profile                  

進入profile文件的編輯模式

在最後邊追加一下內容(配置的時候一定要根據自己的目錄情況而定哦！)

1 JAVA_HOME=/usr/local/java/jdk1.8.0_144
2 CLASSPATH=$JAVA_HOME/lib/
3 PATH=$PATH:$JAVA_HOME/bin
4 export PATH JAVA_HOME CLASSPATH

之後保存並退出文件之後。

讓文件生效：

1source /etc/profile

在控制臺輸入Java 和 Java -version 看有沒有信息輸出，如下： java -version

1java version "1.8.0_144"
2 Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
3 Java HotSpot(TM) Client VM (build 25.60-b23, mixed mode)

能顯示以上信息，就說明 JDK 安裝成功啦

安裝 Maven

因為後面可能會用到 maven ，先裝上這個。

1、下載 maven

1wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.2.5/binaries/apache-maven-3.2.5-bin.tar.gz

2、解壓至 /usr/local 目錄

1tar -zxvf apache-maven-3.2.5-bin.tar.gz

3、配置公司給的配置

替換成公司給的 setting.xml 文件，修改關於本地倉庫的位置, 默認位置:${user.home}/.m2/repository

4、配置環境變量etc/profile 最後添加以下兩行

1export MAVEN_HOME=/usr/local/apache-maven-3.2.5
2export PATH=${PATH}:${MAVEN_HOME}/bin

5、測試

1[root@localhost ~]
2Apache Maven 3.2.5 (12a6b3acb947671f09b81f49094c53f426d8cea1; 2014-12-14T09:29:23-08:00)
3Maven home: /usr/local/apache-maven-3.2.5

VMware 虛擬機裡面的三臺機器 IP 分別是：

1192.168.153.133
2192.168.153.134
3192.168.153.132

配置 hosts

在 /etc/hosts下面編寫：ip node 節點的名字（域名解析）

1vim  /etc/hosts

新增：

1192.168.153.133  es1
2192.168.153.134  es2
3192.168.153.132  es3

設置 SSH 免密碼登錄

安裝expect命令 ： yum -y install expect

將 ssh_p2p.jar 隨便解壓到任何目錄下： (這個 jar 包可以去網上下載)

1unzip ssh_p2p.zip

修改 resource 的 ip 值

1vim /ssh_p2p/deploy_data/resource  （各個節點和帳戶名，密碼，free代表相互都可以無密碼登陸）

1
2address=(
3"192.168.153.133,root,123456,free"
4"192.168.153,134,root,123456,free"
5"192.168.153.132,root,123456,free"
6)

修改 start.sh 的運行權限

1chmod u+x start.sh

運行

1./start.sh

測試：

ssh ip地址 （測試是否可以登錄）

安裝 ElasticSearch

下載地址： https://www.elastic.co/downloads/elasticsearch

1wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.2.tar.gz
2cd /usr/local
3tar -zxvf   elasticsearch-5.5.2.tar.gz

su tzs 切換到 tzs 用戶下 ( 默認不支持 root 用戶)

sh /usr/local/elasticsearch/bin/elasticsearch -d 其中 -d 表示後臺啟動

在 vmware 上測試是否成功：curl http://localhost:9200/

test

出現如上圖這樣的效果，就代表已經裝好了。

elasticsearch 默認 restful-api 的埠是 9200 不支持 IP 地址，也就是說無法從主機訪問虛擬機中的服務，只能在本機用 http://localhost:9200 來訪問。如果需要改變，需要修改配置文件 /usr/local/elasticsearch/config/elasticsearch.yml 文件，加入以下兩行：

1network.bind_host: 0.0.0.0
2network.publish_host: _nonloopback:ipv4

或去除 network.host 和 http.port 之前的注釋，並將 network.host 的 IP 地址修改為本機外網 IP。然後重啟，Elasticsearch

關閉方法（輸入命令：ps -ef | grep elasticsearch ，找到進程，然後 kill 掉就行了。

如果外網還是不能訪問，則有可能是防火牆設置導致的 ( 關閉防火牆：service iptables stop )

修改配置文件：

1vim config/elasticsearch.yml 

修改 ：

1cluster.name : my-app  (集群的名字，名字相同的就是一個集群)
2
3node.name : es1  （節點的名字, 和前面配置的 hosts 中的 name 要一致）
4
5path.data: /data/elasticsearch/data  （數據的路徑。沒有要創建（`mkdir -p /data/elasticsearch/{data,logs}`），並且給執行用戶權限 `chown tzs /data/elasticsearch/{data,logs} -R ` ）
6path.logs: /data/elasticsearch/logs    （數據 log 信息的路徑，同上）
7network.host: 0.0.0.0    
8http.port: 9200        
9discovery.zen.ping.unicast.hosts: ["192.168.153.133", "192.168.153.134", "192.168.153.132"]   

記得需要添加上：（這個是安裝 head 插件要用的， 目前不需要）

1http.cors.enabled: true
2http.cors.allow-origin: "*"

最後在外部瀏覽器的效果如下圖：

安裝 IK 中文分詞

可以自己下載源碼使用 maven 編譯，當然如果怕麻煩可以直接下載編譯好的

https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v5.5.2

注意下載對應的版本放在 plugins 目錄下

解壓

1unzip elasticsearch-analysis-ik-5.5.2.zip

在 es 的 plugins 下新建 ik 目錄

1mkdir ik

將剛才解壓的複製到ik目錄下

1cp -r elasticsearch/* ik

刪除剛才解壓後的

1rm -rf elasticsearch
2rm -rf elasticsearch-analysis-ik-5.5.2.zip

IK 帶有兩個分詞器

ik_max_word ：會將文本做最細粒度的拆分；儘可能多的拆分出詞語

ik_smart：會做最粗粒度的拆分；已被分出的詞語將不會再次被其它詞語佔有

安裝完 IK 中文分詞器後（當然不止這種中文分詞器，還有其他的，可以參考我的文章 Elasticsearch 默認分詞器和中分分詞器之間的比較及使用方法），測試區別如下：

ik_max_word

執行：

1curl -XGET 'http://192.168.153.134:9200/_analyze?pretty&analyzer=ik_max_word' -d '聯想是全球最大的筆記本廠商'

結果：

1{
2  "tokens" : [
3    {
4      "token" : "聯想",
5      "start_offset" : 0,
6      "end_offset" : 2,
7      "type" : "CN_WORD",
8      "position" : 0
9    },
10    {
11      "token" : "是",
12      "start_offset" : 2,
13      "end_offset" : 3,
14      "type" : "CN_CHAR",
15      "position" : 1
16    },
17    {
18      "token" : "全球",
19      "start_offset" : 3,
20      "end_offset" : 5,
21      "type" : "CN_WORD",
22      "position" : 2
23    },
24    {
25      "token" : "最大",
26      "start_offset" : 5,
27      "end_offset" : 7,
28      "type" : "CN_WORD",
29      "position" : 3
30    },
31    {
32      "token" : "的",
33      "start_offset" : 7,
34      "end_offset" : 8,
35      "type" : "CN_CHAR",
36      "position" : 4
37    },
38    {
39      "token" : "筆記本",
40      "start_offset" : 8,
41      "end_offset" : 11,
42      "type" : "CN_WORD",
43      "position" : 5
44    },
45    {
46      "token" : "筆記",
47      "start_offset" : 8,
48      "end_offset" : 10,
49      "type" : "CN_WORD",
50      "position" : 6
51    },
52    {
53      "token" : "本廠",
54      "start_offset" : 10,
55      "end_offset" : 12,
56      "type" : "CN_WORD",
57      "position" : 7
58    },
59    {
60      "token" : "廠商",
61      "start_offset" : 11,
62      "end_offset" : 13,
63      "type" : "CN_WORD",
64      "position" : 8
65    }
66  ]
67}

ik_smart

執行：

1curl -XGET 'http://localhost:9200/_analyze?pretty&analyzer=ik_smart' -d '聯想是全球最大的筆記本廠商'

結果：

1{
2  "tokens" : [
3    {
4      "token" : "聯想",
5      "start_offset" : 0,
6      "end_offset" : 2,
7      "type" : "CN_WORD",
8      "position" : 0
9    },
10    {
11      "token" : "是",
12      "start_offset" : 2,
13      "end_offset" : 3,
14      "type" : "CN_CHAR",
15      "position" : 1
16    },
17    {
18      "token" : "全球",
19      "start_offset" : 3,
20      "end_offset" : 5,
21      "type" : "CN_WORD",
22      "position" : 2
23    },
24    {
25      "token" : "最大",
26      "start_offset" : 5,
27      "end_offset" : 7,
28      "type" : "CN_WORD",
29      "position" : 3
30    },
31    {
32      "token" : "的",
33      "start_offset" : 7,
34      "end_offset" : 8,
35      "type" : "CN_CHAR",
36      "position" : 4
37    },
38    {
39      "token" : "筆記本",
40      "start_offset" : 8,
41      "end_offset" : 11,
42      "type" : "CN_WORD",
43      "position" : 5
44    },
45    {
46      "token" : "廠商",
47      "start_offset" : 11,
48      "end_offset" : 13,
49      "type" : "CN_WORD",
50      "position" : 6
51    }
52  ]
53}

安裝 head 插件

elasticsearch-head 是一個 elasticsearch 的集群管理工具，它是完全由 html5 編寫的獨立網頁程序，你可以通過插件把它集成到 es。

安裝 git

1yum remove git
2yum install git
3git clone git://github.com/mobz/elasticsearch-head.git   拉取 head 插件到本地，或者直接在 GitHub 下載 壓縮包下來

安裝nodejs

先去官網下載 node-v8.4.0-linux-x64.tar.xz

1tar -Jxv -f  node-v8.4.0-linux-x64.tar.xz
2mv node-v8.4.0-linux-x64  node

環境變量設置：

1vim  /etc/profile

新增：

1export NODE_HOME=/opt/node
2export PATH=$PATH:$NODE_HOME/bin
3export NODE_PATH=$NODE_HOME/lib/node_modules

使配置文件生效（這步很重要，自己要多注意這步）

1source /etc/profile

測試是否全局可用了：

1node -v

然後

1mv elasticsearch-head head
2cd head/
3npm install -g grunt-cli
4npm install
5grunt server

再 es 的配置文件中加：

1http.cors.enabled: true
2http.cors.allow-origin: "*"

在瀏覽器打開 http://192.168.153.133:9100/ 就可以看到效果了，

遇到問題

把坑都走了一遍，防止以後再次入坑，特此記錄下來

1、ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")

改變 elasticsearch 文件夾所有者到當前用戶

1sudo chown -R noroot:noroot elasticsearch

這是因為 elasticsearch 需要讀寫配置文件，我們需要給予 config 文件夾權限，上面新建了 elsearch 用戶，elsearch 用戶不具備讀寫權限，因此還是會報錯，解決方法是切換到管理員帳戶，賦予權限即可：

1sudo -i
2
3chmod -R 775 config

2、[WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root

原因是elasticsearch默認是不支持用root用戶來啟動的。

解決方案一：

1Des.insecure.allow.root=true

修改 /usr/local/elasticsearch-2.4.0/bin/elasticsearch，

添加

1ES_JAVA_OPTS="-Des.insecure.allow.root=true"

或執行時添加：

1sh /usr/local/elasticsearch-2.4.0/bin/elasticsearch -d -Des.insecure.allow.root=true

注意：正式環境用root運行可能會有安全風險，不建議用root來跑。

解決方案二：添加專門的用戶

1useradd elastic
2chown -R elastic:elastic  elasticsearch-2.4.0
3su elastic
4sh /usr/local/elasticsearch-2.4.0/bin/elasticsearch -d

3、UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled in

只是警告，使用新的linux版本，就不會出現此類問題了。

4、ERROR: [4] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

原因：無法創建本地文件問題,用戶最大可創建文件數太小

解決方案：切換到 root 用戶，編輯 limits.conf 配置文件， 添加類似如下內容：

1vim /etc/security/limits.conf

添加如下內容:

1* soft nofile 65536
2* hard nofile 131072
3* soft nproc 2048
4* hard nproc 4096

[2]: max number of threads [1024] for user [tzs] is too low, increase to at least [2048]

原因：無法創建本地線程問題,用戶最大可創建線程數太小

解決方案：切換到root用戶，進入limits.d目錄下，修改90-nproc.conf 配置文件。

1vim /etc/security/limits.d/90-nproc.conf

找到如下內容：

1soft nproc 1024

修改為

1* soft nproc 2048

[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

原因：最大虛擬內存太小

root用戶執行命令：

1sysctl -w vm.max_map_count=262144

或者修改 /etc/sysctl.conf 文件，添加 「vm.max_map_count」設置
設置後，可以使用

1$ sysctl -p

[4]: system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

原因：Centos6不支持SecComp，而ES5.4.1默認bootstrap.system_call_filter為true進行檢測，所以導致檢測失敗，失敗後直接導致ES不能啟動。
詳見 ：https://github.com/elastic/elasticsearch/issues/22899

解決方法：在elasticsearch.yml中新增配置bootstrap.system_call_filter，設為false，注意要在Memory下面:

1bootstrap.memory_lock: false
2bootstrap.system_call_filter: false

5、 java.lang.IllegalArgumentException: property [elasticsearch.version] is missing for plugin [head]

再 es 的配置文件中加：

1http.cors.enabled: true
2http.cors.allow-origin: "*"

最後

整個搭建的過程全程自己手動安裝，不易，如果安裝很多臺機器，是否可以寫個腳本之類的自動搭建呢？可以去想想的。首發於：http://www.54tianzhisheng.cn/2017/09/09/Elasticsearch-install/ ，轉載請註明出處，謝謝配合！