[Hive Homebrewインストールと設定]


Hive Homebrewのインストールと設定手順を覚えるために書いておきたいと思います.
Homebrewのインストール方法を使うのは簡単です.
(Hadoopをインストールしてから、後続の設定ができます.)brew install hiveHomebrewでインストールされている場合、hiveは/usr/local/Cellar/hive/3.1.2_3/libexecconfフォルダ(バージョンごとに3.x.x部分を変更する必要があります)が存在します.cd ~ vim ~/.zshrc.zshrcファイルを開いて環境変数を編集し、$HIVE_HOMEで簡単に上のディレクトリにアクセスできます.export $HIVE_HOME=/usr/local/Cellar/hive/3.1.2_3/libexec source ~/.zshrchiveが実行されている場合は、追加の操作が必要です.hiveを実行したことがない場合は、この手順をスキップできます.
hiveを実行したら
terminalでhiveコマンドを個別に設定していない場合は、metastore_dbフォルダを削除する必要があります.cd ~ cd $HIVE_HOME lsコマンドでmetastore_dbフォルダが既に存在することを確認します.rm -r metastore_dbコマンドを使用してフォルダを削除します.
hiveが実行されていない場合
インストールのみで実行されていない場合は、metastore_dbフォルダは存在せず、削除する必要はありません.以降、hiveを実行するかどうかにかかわらず、設定を行います.cd ~ cd $HIVE_HOME cd conf cp hive-env.sh.template hive-env.sh vim hive-env.shhive-env.shファイルにハッシュディレクトリアドレスを追加します.HADOOP_HOME=/usr/local/Cellar/hadoop/3.3.1/libexec(河豆もHomebrewでインストールされているので、上の住所でバージョンを変更するだけです)vim hive-site.xmlhive-site.xmlファイルがない場合は、次の内容を再作成して追加します.既に存在する場合は、以下の内容が含まれているかどうかを確認し、存在しない場合は追加します.
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse/</value> 
  </property>
  <property>
    <name>hive.cli.print.header</name>
    <value>true</value>
  </property>
  <property>
      <name>hive.metastore.uris</name>
      <value>thrift://localhost:9083</value>
  </property>
  <property>
      <name>hive.metastore.schema.verification</name>
      <value>false</value>
  </property>
</configuration>
Hadoopの実行cd $HADOOP_HOME/sbin/start-dfs.sh cd $HADOOP_HOME/sbin/start-yarn.shHDFSディレクトリの作成/承認hdfs dfs -mkdir -p /tmp/hive hdfs dfs -mkdir -p /user/hive/warehouse hdfs dfs -chmod g+w /tmp hdfs dfs -chmod 777 /tmp/hive hdfs dfs -chmod g+w /user/hive hdfs dfs -chmod g+w /user/hive/warehousetmp、user、hive、warehouseフォルダがhdfsに表示されていない場合は、フォルダを作成する必要があります.hdfs dfs -ls /ホームに存在するフォルダを特定します.hdfs dfs -mkdir /userユーザーフォルダの作成hdfs dfs -mkdir /tmp hdfs dfs -mkdir /tmp/hive hdfs dfs -mkdir /user/hive hdfs dfs -mkdir /user/hive/warehouse上の仕事が全部終わったら、まだ最後の一歩があります.cd $HIVE_HOME/scripts/metastore/upgrade/derby ls hive-schema-x.x.x.derby.sqlファイルがかなり見られますが、最新のバージョンに適したファイルを選択する必要があります.筆者の場合はhive-schema-3.1.0.derby.sqlです.vim hive-schema-3.1.0.derby.sqlファイルを開くCREATE FUNCTION "APP"."NUCLEUS_ASCII"... CREATE FUNCTION "APP"."NUCLEUS_MATCHES" ...このような文が2つ確認できます.この二つの文は注釈しなければならない.前述の注記に--を追加します.-- CREATE FUNCTION "APP"."NUCLEUS_ASCII"... -- CREATE FUNCTION "APP"."NUCLEUS_MATCHES" ...すべての設定が終了しました.
初期化hive metastorecd ~ schematool -initSchema -dbType derbyあるいはcd $HIVE_HOME ./bin/schematool -initSchema -dbType derby初期化モードを使用します.
モード初期化完了後、hive --service metastore &コマンドでhiveを実行します.jpsコマンドでRunJarが表示された場合は、正常に動作します.