Hiveのインストール構成と原理はhiveのhive-siteの欠如を完璧に解決する.xmlファイル、セキュリティモードでhiveを起動できないなどの問題があります.
5021 ワード
Hiveの原理 HiveはHadoopベースのデータウェアハウスツールで、構造化されたデータファイルをデータベース・テーブルにマッピングし、sqlクエリー機能を完全に提供し、sql文をMapReduceタスクに変換して実行できます.その利点は学習コストが低く、クラスSQL文を通じて簡単なMapReduce統計を迅速に実現でき、専門的なMapReduce応用を開発する必要がなく、データウェアハウスの統計分析に非常に適していることである. Hvieは、Hadoop上に構築されたデータウェアハウスインフラストラクチャです.Hadoopに格納された大規模なデータを格納、クエリー、分析できる一連のツールを提供します.Hiveは、HQLと呼ばれる簡単なクラスSQLクエリー文を定義し、SQLに詳しいユーザーがデータをクエリーできるようにします.また、この言語では、MapReduce開発者のカスタムmapperとreducerの開発を熟知して、組み込まれたmapperとreducerではできない複雑な分析作業を処理することもできます. HiveはSQLのクエリー言語HQLを採用しているため、Hiveをデータベースとして容易に理解できる.実は構造的に見ると、Hiveとデータベースは似たようなクエリー言語を持っている以外に、似たようなところはありません.この文書では、Hiveとデータベースの違いについていくつかの側面から説明します.データベースはOnlineのアプリケーションで使用できますが、Hiveはデータウェアハウスのために設計されていることがわかり、Hiveの特性をアプリケーションの観点から理解するのに役立ちます.
Hiveのインストール
1、mysqlをインストールして構成します.
前にブログに書いたことがありますが、インストール構成手順は下のリンクをクリックして、ここではあまり言いません.mysqlインストール構成
2,官网下载hive-1.1.0-cdh 5.14.2バージョンのhiveインストールパッケージ.
3,xshellのxftpを利用して/optにアップロードする
4、インストールパッケージを解凍する
5、解凍したインストールパッケージを/opt/softの下に置く
6、hive 110ファイルの下にプロファイルconfの下のhive-siteを見つけます.xml
ここでconfフォルダの下にhive-siteがないことを発見しました.xmlでは、このプロファイルを生でこすってみましょう.どうせ多くはありません.まずhive 110フォルダの下にデータウェアハウスファイルを作成し、hiveが構築したデータベースとテーブルを配置します.
プロファイルをこすります.
7,仮想マシンにおけるhiveの実行環境の構成
まずhiveのパスを表示
パスをコピーします.hiveの実行環境の構成を開始
ファイルの最後に次の構成を追加します.
保存を終了します.(esc + :wq)
8、プロファイルのアクティブ化
そして
Navicatで自分の仮想マシンデータベースに接続し、hiveデータベースが1つもないことを確認します.あればいいのに.
10、xshellに戻ってhadoopを開きます.
11、hiveをオン
hiveをオンにするセキュリティモードでエラー入力
Hiveのインストール
1、mysqlをインストールして構成します.
前にブログに書いたことがありますが、インストール構成手順は下のリンクをクリックして、ここではあまり言いません.mysqlインストール構成
2,官网下载hive-1.1.0-cdh 5.14.2バージョンのhiveインストールパッケージ.
3,xshellのxftpを利用して/optにアップロードする
4、インストールパッケージを解凍する
tar -zxvf hive-1.1.0_cdh5.14.2
5、解凍したインストールパッケージを/opt/softの下に置く
[root@sql opt]# mv hive-1.1.0-cdh5.14.2 soft/hive110
6、hive 110ファイルの下にプロファイルconfの下のhive-siteを見つけます.xml
[root@sql soft]# cd hive110/
[root@sql hive110]# ls
auxlib conf docs hcatalog LICENSE README.txt scripts
bin data examples lib NOTICE RELEASE_NOTES.txt
[root@sql hive110]# cd conf/
[root@sql conf]# ls
beeline-log4j.properties.template hive-exec-log4j.properties.template ivysettings.xml
hive-env.sh.template hive-log4j.properties.template
ここでconfフォルダの下にhive-siteがないことを発見しました.xmlでは、このプロファイルを生でこすってみましょう.どうせ多くはありません.まずhive 110フォルダの下にデータウェアハウスファイルを作成し、hiveが構築したデータベースとテーブルを配置します.
[root@sql hive110]# mkdir warehouse
プロファイルをこすります.
[root@sql conf]# vi hive-site.xml
hive.metastore.warehouse.dir
/opt/soft/hive110/warehouse
hive.metastore.local
true
javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.56.101:3306/hive?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
ok
7,仮想マシンにおけるhiveの実行環境の構成
まずhiveのパスを表示
[root@sql hive110]# pwd
/opt/soft/hive110
パスをコピーします.hiveの実行環境の構成を開始
[root@sql hive110]# vi /etc/profile
ファイルの最後に次の構成を追加します.
export HIVE_HOME=/opt/soft/hive110
export PATH=$PATH:$HIVE_HOME/bin
保存を終了します.(esc + :wq)
8、プロファイルのアクティブ化
source /etc/profile
そして
hive110/lib xftp mysql-connector-java-5.1.38 jar !!!!
9,mysqlデータベースを初期化する[root@sql hive110]# schematool -initSchema -dbType mysql
Navicatで自分の仮想マシンデータベースに接続し、hiveデータベースが1つもないことを確認します.あればいいのに.
10、xshellに戻ってhadoopを開きます.
[root@sql hive110]# start-all.sh
[root@sql hive110]# jps
13168 ResourceManager
13011 SecondaryNameNode
14371 DataNode
21307 Jps
13788 NameNode
13261 NodeManager
11、hiveをオン
[root@sql hive110]# hive
which: no hbase in (/opt/soft/jdk180/bin:/opt/soft/jdk180/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/soft/hadoop260/sbin:/opt/soft/hadoop260/bin:/root/bin:/opt/soft/hadoop260/sbin:/opt/soft/hadoop260/bin:/opt/soft/hive110/bin)
19/11/29 19:20:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
19/11/29 19:20:33 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist
Logging initialized using configuration in jar:file:/opt/soft/hive110/lib/hive-common-1.1.0-cdh5.14.2.jar!/hive-log4j.properties
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
hive> drop database if exists mydemo;
OK
Time taken: 4.978 seconds
hive> create database mydemo;
OK
Time taken: 0.323 seconds
hive> use mydemo;
OK
Time taken: 0.025 seconds
hiveをオンにするセキュリティモードでエラー入力
hadoop dfsadmin -safemode leave
コマンドがあったらセキュリティモードを終了し、hiveを再開すればよい.