Hive學習筆記，看懂 Hive

Hive基本概念

什麼是Hive

Hive：由Facebook開源用於解決海量結構化日誌的數據統計。

Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張表，並提供類SQL查詢功能。

本質是：將HQL轉化成MapReduce程序

1）Hive處理的數據存儲在HDFS

2）Hive分析數據底層的實現是MapReduce

3）執行程序運行在Yarn上

Hive的優缺點

優點

1) 操作接口採用類SQL語法，提供快速開發的能力（簡單、容易上手）。

2) 避免了去寫MapReduce，減少開發人員的學習成本。

3) Hive的執行延遲比較高，因此Hive常用於數據分析，對實時性要求不高的場合。

4) Hive優勢在於處理大數據，對於處理小數據沒有優勢，因為Hive的執行延遲比較高。

5) Hive支持用戶自定義函數，用戶可以根據自己的需求來實現自己的函數。

缺點

1．Hive的HQL表達能力有限

（1）迭代式算法無法表達

（2）數據挖掘方面不擅長，由於MapReduce數據處理流程的限制，效率更高的算法卻無法實現。

2．Hive的效率比較低

（1）Hive自動生成的MapReduce作業，通常情況下不夠智能化

（2）Hive調優比較困難，粒度較粗

Hive架構原理

1．用戶接口：Client

CLI（command-line interface）、JDBC/ODBC(jdbc訪問hive)、WEBUI（瀏覽器訪問hive）

2．元數據：Metastore

元數據包括：表名、表所屬的資料庫（默認是default）、表的擁有者、列/分區欄位、表的類型（是否是外部表）、表的數據所在目錄等；

3．Hadoop

使用HDFS進行存儲，使用MapReduce進行計算。

4．驅動器：Driver

（1）解析器（SQL Parser）：將SQL字符串轉換成抽象語法樹AST，這一步一般都用第三方工具庫完成，比如antlr；對AST進行語法分析，比如表是否存在、欄位是否存在、SQL語義是否有誤。

（2）編譯器（Physical Plan）：將AST編譯生成邏輯執行計劃。

（3）優化器（Query Optimizer）：對邏輯執行計劃進行優化。

（4）執行器（Execution）：把邏輯執行計劃轉換成可以運行的物理計劃。對於Hive來說，就是MR/Spark。

Hive通過給用戶提供的一系列交互接口，接收到用戶的指令(SQL)，使用自己的Driver，結合元數據(MetaStore)，將這些指令翻譯成MapReduce，提交到Hadoop中執行，最後，將執行返回的結果輸出到用戶交互接口。

Hive和資料庫比較

由於 Hive 採用了類似SQL 的查詢語言 HQL(Hive Query Language)，因此很容易將 Hive 理解為資料庫。其實從結構上來看，Hive 和資料庫除了擁有類似的查詢語言，再無類似之處。本文將從多個方面來闡述 Hive 和資料庫的差異。資料庫可以用在 Online 的應用中，但是Hive 是為數據倉庫而設計的，清楚這一點，有助於從應用角度理解 Hive 的特性。

查詢語言

由於SQL被廣泛的應用在數據倉庫中，因此，專門針對Hive的特性設計了類SQL的查詢語言HQL。熟悉SQL開發的開發者可以很方便的使用Hive進行開發。

數據存儲位置

Hive 是建立在 Hadoop 之上的，所有 Hive 的數據都是存儲在 HDFS 中的。而資料庫則可以將數據保存在塊設備或者本地文件系統中。

數據更新

由於Hive是針對數據倉庫應用設計的，而數據倉庫的內容是讀多寫少的。因此，Hive中不建議對數據的改寫，所有的數據都是在加載的時候確定好的。而資料庫中的數據通常是需要經常進行修改的，因此可以使用 INSERT INTO … VALUES 添加數據，使用 UPDATE … SET修改數據。

執行

Hive中大多數查詢的執行是通過 Hadoop 提供的 MapReduce 來實現的。而資料庫通常有自己的執行引擎。

執行延遲

Hive 在查詢數據的時候，由於沒有索引，需要掃描整個表，因此延遲較高。另外一個導致 Hive 執行延遲高的因素是 MapReduce框架。由於MapReduce 本身具有較高的延遲，因此在利用MapReduce 執行Hive查詢時，也會有較高的延遲。相對的，資料庫的執行延遲較低。當然，這個低是有條件的，即數據規模較小，當數據規模大到超過資料庫的處理能力的時候，Hive的並行計算顯然能體現出優勢。

可擴展性

由於Hive是建立在Hadoop之上的，因此Hive的可擴展性是和Hadoop的可擴展性是一致的（世界上最大的Hadoop 集群在 Yahoo!，2009年的規模在4000 臺節點左右）。而資料庫由於 ACID 語義的嚴格限制，擴展性非常有限。目前最先進的並行資料庫 Oracle 在理論上的擴展能力也只有100臺左右。

數據規模

由於Hive建立在集群上並可以利用MapReduce進行並行計算，因此可以支持很大規模的數據；對應的，資料庫可以支持的數據規模較小。

Hive安裝

Hive安裝地址

1．Hive官網地址http://hive.apache.org/2．文檔查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3．下載地址http://archive.apache.org/dist/hive/4．github地址https://github.com/apache/hive

Hive安裝部署

1．Hive安裝及配置

（1）把apache-hive-1.2.1-bin.tar.gz上傳到linux的/opt/software目錄下

（2）解壓apache-hive-1.2.1-bin.tar.gz到/opt/module/目錄下面

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

（3）修改apache-hive-1.2.1-bin.tar.gz的名稱為hive

mv apache-hive-1.2.1-bin/ hive

（4）修改/opt/module/hive/conf目錄下的hive-env.sh.template名稱為hive-env.sh

mv hive-env.sh.template hive-env.sh

（5）配置hive-env.sh文件

（a）配置HADOOP_HOME路徑

export HADOOP_HOME=/opt/module/hadoop-2.7.2

（b）配置HIVE_CONF_DIR路徑

export HIVE_CONF_DIR=/opt/module/hive/conf

2．Hadoop集群配置

（1）必須啟動hdfs和yarn

sbin/start-dfs.shsbin/start-yarn.sh

（2）在HDFS上創建/tmp和/user/hive/warehouse兩個目錄並修改他們的同組權限可寫

bin/hadoop fs -mkdir /tmpbin/hadoop fs -mkdir -p /user/hive/warehouse

bin/hadoop fs -chmod g+w /tmpbin/hadoop fs -chmod g+w /user/hive/warehouse

3．Hive基本操作

（1）啟動hive

bin/hive

（2）查看資料庫

hive> show databases;

（3）打開默認資料庫

hive> use default;

（4）顯示default資料庫中的表

hive> show tables;

（5）創建一張表

hive> create table student(id int, name string);

（6）顯示資料庫中有幾張表

hive> show tables;

（7）查看表的結構

hive> desc student;

（8）向表中插入數據

hive> insert into student values(1000,"ss");

（9）查詢表中數據

hive> select * from student;

（10）退出hive

hive> quit;

說明：（查看hive在hdfs中的結構）

資料庫：在hdfs中表現為${hive.metastore.warehouse.dir}目錄下一個文件夾

表：在hdfs中表現所屬db目錄下一個文件夾，文件夾中存放該表中的具體數據

將本地文件導入Hive案例

需求

將本地/opt/module/datas/student.txt這個目錄下的數據導入到hive的student(id int, name string)表中。

1．數據準備

在/opt/module/datas這個目錄下準備數據

1）在/opt/module/目錄下創建datas

mkdir datas

（2）在/opt/module/datas/目錄下創建student.txt文件並添加數據

touch student.txtvi student.txt1001 zhangshan1002 lishi1003 zhaoliu注意以tab鍵間隔

2．Hive實際操作

（1）啟動hive

bin/hive

（2）顯示資料庫

hive> show databases;

（3）使用default資料庫

hive> use default;

（4）顯示default資料庫中的表

hive> show tables;

（5）刪除已創建的student表

hive> drop table student;

（6）創建student表, 並聲明文件分隔符』\t』

hive> create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

（7）加載/opt/module/datas/student.txt 文件到student資料庫表中。

hive> load data local inpath '/opt/module/datas/student.txt' into table student;

（8）Hive查詢結果

hive> select * from student;OK1001 zhangshan1002 lishi1003 zhaoliuTime taken: 0.266 seconds, Fetched: 3 row(s)

3．遇到的問題

再打開一個客戶端窗口啟動hive，會產生java.sql.SQLException異常。

Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.util.RunJar.run(RunJar.java:221) at org.apache.hadoop.util.RunJar.main(RunJar.java:136)Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at

原因是，Metastore默認存儲在自帶的derby資料庫中，推薦使用MySQL存儲Metastore;

MySql安裝

安裝包準備

1．查看mysql是否安裝，如果安裝了，卸載mysql

（1）查看

rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64

（2）卸載

[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64

2．解壓mysql-libs.zip文件到當前目錄

[root@hadoop102 software]# unzip mysql-libs.zip[root@hadoop102 software]# lsmysql-libs.zipmysql-libs

3．進入到mysql-libs文件夾下

[root@hadoop102 mysql-libs]# ll總用量 76048-rw-r--r--. 1 root root 18509960 3月 26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm-rw-r--r--. 1 root root 3575135 12月 1 2013 mysql-connector-java-5.1.27.tar.gz-rw-r--r--. 1 root root 55782196 3月 26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

安裝MySql伺服器

1．安裝mysql服務端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

2．查看產生的隨機密碼

[root@hadoop102 mysql-libs]# cat /root/.mysql_secretOEXaQuS8IWkG19Xs

3．查看mysql狀態

[root@hadoop102 mysql-libs]# service mysql status

4．啟動mysql

[root@hadoop102 mysql-libs]# service mysql start

安裝MySql客戶端

1．安裝mysql客戶端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

2．連結mysql

[root@hadoop102 mysql-libs]# mysql -uroot -pOEXaQuS8IWkG19Xs

3．修改密碼

mysql>SET PASSWORD=PASSWORD('000000');

4．退出mysql

mysql>exit

MySql中user表中主機配置

配置只要是root用戶+密碼，在任何主機上都能登錄MySQL資料庫。

1．進入mysql

[root@hadoop102 mysql-libs]# mysql -uroot -p000000

2．顯示資料庫

mysql>show databases;

3．使用mysql資料庫

mysql>use mysql;

4．展示mysql資料庫中的所有表

mysql>show tables;

5．展示user表的結構

mysql>desc user;

6．查詢user表

mysql>select User, Host, Password from user;

7．修改user表，把Host表內容修改為%

mysql>update user set host='%' where host='localhost';

8．刪除root用戶的其他host

mysql>delete from user where Host='hadoop102';mysql>delete from user where Host='127.0.0.1';mysql>delete from user where Host='::1';

9．刷新

mysql>flush privileges;

10．退出

mysql>quit;

Hive元數據配置到MySql

驅動拷貝

1．在/opt/software/mysql-libs目錄下解壓mysql-connector-java-5.1.27.tar.gz驅動包

[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz

2．拷貝/opt/software/mysql-libs/mysql-connector-java-5.1.27目錄下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/

[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

配置Metastore到MySql

1．在/opt/module/hive/conf目錄下創建一個hive-site.xml

touch hive-site.xml

2．根據官方文檔配置參數，拷貝數據到hive-site.xml文件中

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>000000</value> <description>password to use against metastore database</description> </property></configuration>

3．配置完畢後，如果啟動hive異常，可以重新啟動虛擬機。（重啟後，別忘了啟動hadoop集群）

多窗口啟動Hive測試

1．先啟動MySQL

mysql -uroot -p000000

查看有幾個資料庫

mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || mysql || performance_schema || test |+--------------------+

2．再次打開多個窗口，分別啟動hive

bin/hive

3．啟動hive後，回到MySQL窗口查看資料庫，顯示增加了metastore資料庫

mysql> show databases;+--------------------+| Database |+--------------------+| information_schema || metastore || mysql || performance_schema || test |+--------------------+

HiveJDBC訪問

啟動hiveserver2服務

bin/hiveserver2

啟動beeline

bin/beelineBeeline version 1.2.1 by Apache Hivebeeline>

連接hiveserver2

beeline> !connect jdbc:hive2://hadoop102:10000（回車）Connecting to jdbc:hive2://hadoop102:10000Enter username for jdbc:hive2://hadoop102:10000: atguigu（回車）Enter password for jdbc:hive2://hadoop102:10000: （直接回車）Connected to: Apache Hive (version 1.2.1)Driver: Hive JDBC (version 1.2.1)Transaction isolation: TRANSACTION_REPEATABLE_READ0: jdbc:hive2://hadoop102:10000> show databases;+----------------+--+| database_name |+----------------+--+| default || hive_db2 |+----------------+--+

Hive常用交互命令

 bin/hive -helpusage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --database <databasename> Specify the database to use -e <quoted-query-string> SQL from command line -f <filename> SQL from files -H,--help Print help information --hiveconf <property=value> Use value for given property --hivevar <key=value> Variable subsitution to apply to hive commands. e.g. --hivevar A=B -i <filename> Initialization SQL file -S,--silent Silent mode in interactive shell -v,--verbose Verbose mode (echo executed SQL to the console)

1．「-e」不進入hive的交互窗口執行sql語句

bin/hive -e "select id from student;"

2．「-f」執行腳本中sql語句

（1）在/opt/module/datas目錄下創建hivef.sql文件

touch hivef.sql

文件中寫入正確的sql語句

select *from student;

（2）執行文件中的sql語句

bin/hive -f /opt/module/datas/hivef.sql

（3）執行文件中的sql語句並將結果寫入文件中

bin/hive -f /opt/module/datas/hivef.sql  > /opt/module/datas/hive_result.txt

Hive其他命令操作

1．退出hive窗口：

hive(default)>exit;hive(default)>quit;

在新版的hive中沒區別了，在以前的版本是有的：

exit:先隱性提交數據，再退出；quit:不提交數據，退出；

2．在hive cli命令窗口中如何查看hdfs文件系統

hive(default)>dfs -ls /;

3．在hive cli命令窗口中如何查看本地文件系統

hive(default)>! ls /opt/module/datas;

4．查看在hive中輸入的所有歷史命令

（1）進入到當前用戶的根目錄/root或

（2）查看. hivehistory文件

cat .hivehistory

Hive常見屬性配置

Hive數據倉庫位置配置

1）Default數據倉庫的最原始位置是在hdfs上的：/user/hive/warehouse路徑下。

2）在倉庫目錄下，沒有對默認的資料庫default創建文件夾。如果某張表屬於default資料庫，直接在數據倉庫目錄下創建一個文件夾。

3）修改default數據倉庫原始位置（將hive-default.xml.template如下配置信息拷貝到hive-site.xml文件中）。

<property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value><description>location of default database for the warehouse</description></property>

配置同組用戶有執行權限

bin/hdfs dfs -chmod g+w /user/hive/warehouse

查詢後信息顯示配置

1）在hive-site.xml文件中添加如下配置信息，就可以實現顯示當前資料庫，以及查詢表的頭信息配置。

<property> <name>hive.cli.print.header</name> <value>true</value></property><property> <name>hive.cli.print.current.db</name> <value>true</value></property>

2）重新啟動hive，對比配置前後差異。

（1）配置前，如圖

（2）配置後，如圖

Hive運行日誌信息配置

1．Hive的log默認存放在/tmp/atguigu/hive.log目錄下（當前用戶名下）

2．修改hive的log存放日誌到/opt/module/hive/logs

（1）修改/opt/module/hive/conf/hive-log4j.properties.template文件名稱為

hive-log4j.properties

pwd/opt/module/hive/confmv hive-log4j.properties.template hive-log4j.properties

（2）在hive-log4j.properties文件中修改log存放位置

hive.log.dir=/opt/module/hive/logs

參數配置方式

1．查看當前所有的配置信息

hive>set;

2．參數的配置三種方式

（1）配置文件方式

默認配置文件：hive-default.xml

用戶自定義配置文件：hive-site.xml

注意：用戶自定義配置會覆蓋默認配置。另外，Hive也會讀入Hadoop的配置，因為Hive是作為Hadoop的客戶端啟動的，Hive的配置會覆蓋Hadoop的配置。配置文件的設定對本機啟動的所有Hive進程都有效。

（2）命令行參數方式

啟動Hive時，可以在命令行添加-hiveconf param=value來設定參數。

例如：

bin/hive -hiveconf mapred.reduce.tasks=10;

注意：僅對本次hive啟動有效

查看參數設置：

hive (default)> set mapred.reduce.tasks;

（3）參數聲明方式

可以在HQL中使用SET關鍵字設定參數

例如：

hive (default)> set mapred.reduce.tasks=100;

注意：僅對本次hive啟動有效。

查看參數設置

hive (default)> set mapred.reduce.tasks;

上述三種設定方式的優先級依次遞增。即配置文件<命令行參數<參數聲明。注意某些系統級的參數，例如log4j相關的設定，必須用前兩種方式設定，因為那些參數的讀取在會話建立以前已經完成了。

剩下的Hive的數據類型，DDL，DML，函數，查詢將放在下個章節再敘述。