[Hive Homebrewインストールと設定]
Hive Homebrewのインストールと設定手順を覚えるために書いておきたいと思います.
Homebrewのインストール方法を使うのは簡単です.
(Hadoopをインストールしてから、後続の設定ができます.)
hiveを実行したら
terminalで
hiveが実行されていない場合
インストールのみで実行されていない場合は、
初期化hive metastore
モード初期化完了後、
Homebrewのインストール方法を使うのは簡単です.
(Hadoopをインストールしてから、後続の設定ができます.)
brew install hive
Homebrewでインストールされている場合、hiveは/usr/local/Cellar/hive/3.1.2_3/libexec
にconf
フォルダ(バージョンごとに3.x.x部分を変更する必要があります)が存在します.cd ~
vim ~/.zshrc
.zshrcファイルを開いて環境変数を編集し、$HIVE_HOME
で簡単に上のディレクトリにアクセスできます.export $HIVE_HOME=/usr/local/Cellar/hive/3.1.2_3/libexec
source ~/.zshrc
hiveが実行されている場合は、追加の操作が必要です.hiveを実行したことがない場合は、この手順をスキップできます.hiveを実行したら
terminalで
hive
コマンドを個別に設定していない場合は、metastore_db
フォルダを削除する必要があります.cd ~
cd $HIVE_HOME
ls
コマンドでmetastore_db
フォルダが既に存在することを確認します.rm -r metastore_db
コマンドを使用してフォルダを削除します.hiveが実行されていない場合
インストールのみで実行されていない場合は、
metastore_db
フォルダは存在せず、削除する必要はありません.以降、hiveを実行するかどうかにかかわらず、設定を行います.cd ~
cd $HIVE_HOME
cd conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
hive-env.shファイルにハッシュディレクトリアドレスを追加します.HADOOP_HOME=/usr/local/Cellar/hadoop/3.3.1/libexec
(河豆もHomebrewでインストールされているので、上の住所でバージョンを変更するだけです)vim hive-site.xml
hive-site.xmlファイルがない場合は、次の内容を再作成して追加します.既に存在する場合は、以下の内容が含まれているかどうかを確認し、存在しない場合は追加します.<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse/</value>
</property>
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://localhost:9083</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
</configuration>
Hadoopの実行cd $HADOOP_HOME/sbin/start-dfs.sh
cd $HADOOP_HOME/sbin/start-yarn.sh
HDFSディレクトリの作成/承認hdfs dfs -mkdir -p /tmp/hive
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -chmod g+w /tmp
hdfs dfs -chmod 777 /tmp/hive
hdfs dfs -chmod g+w /user/hive
hdfs dfs -chmod g+w /user/hive/warehouse
tmp、user、hive、warehouseフォルダがhdfsに表示されていない場合は、フォルダを作成する必要があります.hdfs dfs -ls /
ホームに存在するフォルダを特定します.hdfs dfs -mkdir /user
ユーザーフォルダの作成hdfs dfs -mkdir /tmp
hdfs dfs -mkdir /tmp/hive
hdfs dfs -mkdir /user/hive
hdfs dfs -mkdir /user/hive/warehouse
上の仕事が全部終わったら、まだ最後の一歩があります.cd $HIVE_HOME/scripts/metastore/upgrade/derby
ls
hive-schema-x.x.x.derby.sql
ファイルがかなり見られますが、最新のバージョンに適したファイルを選択する必要があります.筆者の場合はhive-schema-3.1.0.derby.sql
です.vim hive-schema-3.1.0.derby.sql
ファイルを開くCREATE FUNCTION "APP"."NUCLEUS_ASCII"...
CREATE FUNCTION "APP"."NUCLEUS_MATCHES" ...
このような文が2つ確認できます.この二つの文は注釈しなければならない.前述の注記に--
を追加します.-- CREATE FUNCTION "APP"."NUCLEUS_ASCII"...
-- CREATE FUNCTION "APP"."NUCLEUS_MATCHES" ...
すべての設定が終了しました.初期化hive metastore
cd ~
schematool -initSchema -dbType derby
あるいはcd $HIVE_HOME
./bin/schematool -initSchema -dbType derby
初期化モードを使用します.モード初期化完了後、
hive --service metastore &
コマンドでhiveを実行します.jps
コマンドでRunJar
が表示された場合は、正常に動作します.Reference
この問題について([Hive Homebrewインストールと設定]), 我々は、より多くの情報をここで見つけました https://velog.io/@statco19/Hive-Homebrewテキストは自由に共有またはコピーできます。ただし、このドキュメントのURLは参考URLとして残しておいてください。
Collection and Share based on the CC Protocol