hiveとkylinの構築
hiveインストール
前言
kylinが現在最もサポートしているhiveバージョンは1.2.1なので、このバージョンしかインストールできません.hive 2はインストールできません.0.hiveを使用するにはantを事前にインストールする必要があります.具体的なインストール手順は説明しません.mysqlでhiveのメタデータを保存する必要があります.
コンパイルhive
hiveをコンパイルするには必ずネットワークがスムーズであることを保証しなければならない.コンパイル中に個別のパケットがダウンロードできないことが発生し、エラーを招き、時間を変えたり、ネットワーク環境を調整したりして、新しいコンパイルからすればいい.
ソースパッケージを解凍します.を使用して編集できます.
pomを変更する.xmlの次の項目
hadoop-23.version
hbase.hadoop2.version
保存後、コンパイルコマンドを実行
コンパイルが完了すると、ソースコードはpackaging/target/apache-hive-1.2.1-bin.tar.gz
hiveの配備
解凍hive
hiveソースパッケージで、Webインタフェースをパッケージ化
hiveに必要なパッケージのコピー
hiveディレクトリの権限の変更
hiveのlogディレクトリの作成
プロファイルの変更
環境変数の設定
/etc/profileでは、次のように構成されています.
次のコマンドを実行して、すぐに有効になります.
同じ内容を/home/hadooper/.に変更します.baserc
hiveの起動
hadooperユーザーに切り替え
hiveサービスの開始
metastoreサービスの開始
Webインタフェースサービスの起動
kylinインストール
環境変数の設定
/etc/profileファイルに次の内容を追加します.
source/etc/profileの実行が有効です
hadooperの環境変数をファイル/home/hadoper/.basercは同じ内容を追加します
導入と構成
apache-kylin-1.5.4.1-hbase 1をダウンロードします.x-bin.tar.gz,
解凍後/home/hadooperの下にコピーし、kylinと名前を変更します.
/home/hadooper/kylin/tomcat/confの下に入り、catalinaを変更します.propertiesの
shared.loader=/home/hadooper/hive/lib/*.jar
ファイルの保存
/home/hadooper/kylin/confディレクトリに入り、次のコマンドを実行します.
配置に問題があるかどうかを確認し、/home/hadooper/kylin/binの下の次のファイルをそれぞれ実行します.
エラーが発生しない場合は、構成は成功したとみなされます.
kylinの起動
/home/hadooper/kylin/bin/kylin.sh start
起動完了
前言
kylinが現在最もサポートしているhiveバージョンは1.2.1なので、このバージョンしかインストールできません.hive 2はインストールできません.0.hiveを使用するにはantを事前にインストールする必要があります.具体的なインストール手順は説明しません.mysqlでhiveのメタデータを保存する必要があります.
コンパイルhive
hiveをコンパイルするには必ずネットワークがスムーズであることを保証しなければならない.コンパイル中に個別のパケットがダウンロードできないことが発生し、エラーを招き、時間を変えたり、ネットワーク環境を調整したりして、新しいコンパイルからすればいい.
ソースパッケージを解凍します.を使用して編集できます.
tar -xzvf apache-hive-1.2.1-src.tar.gz
cd apache-hive-1.2.1-src
pomを変更する.xmlの次の項目
hadoop-23.version
hbase.hadoop2.version
保存後、コンパイルコマンドを実行
mvn clean package -Phadoop-2,dist -DskipTestsコンパイルが完了すると、ソースコードはpackaging/target/apache-hive-1.2.1-bin.tar.gz
hiveの配備
解凍hive
tar -xzvf apache-hive-1.2.1-bin.tar.gz
mv apache-hive-1.2.1-bin /home/hadooper/hive
hiveソースパッケージで、Webインタフェースをパッケージ化
cd hwi/web
zip -rq hive-hwi-1.2.1.war *
mv hive-hwi-1.2.1.war /home/hadooper/hive/lib/hiveに必要なパッケージのコピー
cp /home/hadooper/hbase/lib/hbase* /home/hadooper/hive/lib/
cp /home/hadooper/hadoop/lib/*.jar /home/hadooper/hive/lib/hiveディレクトリの権限の変更
chown -R hadooper.hadooper /home/hadooper/hivehiveのlogディレクトリの作成
mkdir /home/hadooper/data/hivechown -R hadooper.hadooper /home/hadooper/data/hivemkdir /home/hadooper/hive/logschown -R hadooper.hadooper /home/hadooper/hive/logsプロファイルの変更
#
mv hive-default.xml.template hive-site.xml
hive.exec.local.scratchdir = /home/hadooper/data/hive/hadooper
hive.downloaded.resources.dir = /home/hadooper/data/hive/${hive.session.id}_resources
hive.metastore.warehouse.dir=hdfs://hhts/hive/warehouse
hive.metastore.uris=thrift://172.16.1.90:9083
javax.jdo.option.ConnectionPassword=mysql
javax.jdo.option.ConnectionURL=mysql ， jdbc:mysql://mysql :3306/ ?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionUserName=mysql
hive.aux.jars.path=file:///home/hadooper/hive/lib/hive-hbase-handler-1.2.1.jar,file:///home/hadooper/hive/lib/protobuf-java-2.5.0.jar,file:///home/hadooper/hive/lib/hbase-client-1.2.4.jar,file:///home/hadooper/hive/lib/hbase-common-1.2.4.jar,file:///home/hadooper/hive/lib/hbase-hadoop2-compat-1.2.4.jar,file:///home/hadooper/hive/lib/zookeeper-3.4.9.jar,file:///home/hadooper/hive/lib/guava-14.0.1.jar
hive.querylog.location=/home/hadooper/data/hive/querylog
hive.hwi.war.file=lib/hive-hwi-1.2.1.war
hive.zookeeper.quorum=zookeeper 1,zookeeper n
hive.zookeeper.client.port=zookeeper
hive.server2.logging.operation.log.location=/home/hadooper/data/hive/operation_logs
環境変数の設定
/etc/profileでは、次のように構成されています.
export ANT_HOME=/usr/local/ant
export HIVE_HOME=/home/hadooper/hive
export HCAT_HOME=$HIVE_HOME/hcatalog
export HIVE_CONF=$HIVE_HOME/conf
export hive_dependency=/home/hadooper/hive/conf:/home/hadooper/hive/lib/*:/home/hadooper/hive/hcatalog/share/hcatalog/hive-hcatalog-pig-adapter-1.2.1.jar:/home/hadooper/hive/hcatalog/share/hcatalog/hive-hcatalog-core-1.2.1.jar:/home/hadooper/hive/hcatalog/share/hcatalog/hive-hcatalog-server-extensions-1.2.1.jar:/home/hadooper/hive/hcatalog/share/hcatalog/hive-hcatalog-streaming-1.2.1.jar:/home/hadooper/hive/lib/hive-exec-1.2.1.jar
PATH=$PATH:$HIVE_HOME/bin:$HCAT_HOME/bin
CLASSPATH=.:$HIVE_HOME/lib
次のコマンドを実行して、すぐに有効になります.
source /etc/profile
同じ内容を/home/hadooper/.に変更します.baserc
hiveの起動
hadooperユーザーに切り替え
su hadooper
cd /home/hadooper/hive/bin/hiveサービスの開始
nohup /home/hadooper/hive/bin/hive --service hiveserver2 > /home/hadooper/hive/logs/hiveserver2.log&metastoreサービスの開始
nohup /home/hadooper/hive/bin/hive --service metastore -p 9083 > /home/hadooper/hive/logs/metastore.log&Webインタフェースサービスの起動
nohup /home/hadooper/hive/bin/hive --service hwi > /home/hadooper/hive/logs/hwi.log&kylinインストール
環境変数の設定
/etc/profileファイルに次の内容を追加します.
export KYLIN_HOME=/home/hadooper/kylin
PATH=$PATH:$KYLIN_HOME/binsource/etc/profileの実行が有効です
hadooperの環境変数をファイル/home/hadoper/.basercは同じ内容を追加します
導入と構成
apache-kylin-1.5.4.1-hbase 1をダウンロードします.x-bin.tar.gz,
解凍後/home/hadooperの下にコピーし、kylinと名前を変更します.
/home/hadooper/kylin/tomcat/confの下に入り、catalinaを変更します.propertiesの
shared.loader=/home/hadooper/hive/lib/*.jar
ファイルの保存
/home/hadooper/kylin/confディレクトリに入り、次のコマンドを実行します.
ln -s /home/hadooper/hive/conf/hive_site.xml配置に問題があるかどうかを確認し、/home/hadooper/kylin/binの下の次のファイルをそれぞれ実行します.
check-env.sh
find-hbase-dependency.sh
find-hive-dependency.shエラーが発生しない場合は、構成は成功したとみなされます.
kylinの起動
/home/hadooper/kylin/bin/kylin.sh start
起動完了