hadoop 3.1.0ベースhive 2.3.3のインストール

4034 ワード

hadoop 3.1.0がインストールされていることを前提にします.
hiveのインストール

tar -zxf apache-hive-2.3.3-bin.tar.gz
apache-hive-2.3.3-bin/ hive-2.3.3

環境変数:

export HIVE_HOME=/opt/package/hive-2.3.3
export PATH=$PATH:$HIVE_HOME/bin

mysqlのmariadbをhiveのメタデータとして格納する

sudo yum install mariadb-server
sudo service mariadb start
sudo systemctl  enable mariadb


sudo mysql_secure_installation
mysql -uroot -proot
create database hive;
create user 'hive'@'vb-7' identified by 'hive'; 
grant all on hive.* to 'hive' identified by 'hive';
grant all on hive.* to 'hive'@'%' identified by 'hive' with grant option
REVOKE ALL PRIVILEGES,GRANT OPTION  FROM 'hive'
grant all on hive.* to 'hive'@'%' identified by 'hive'

リモートアクセス可能、ローカルアクセス不可:
#ユーザーを削除すればよい

drop user ''@localhost;
drop user ''@'vb-7';
flush privileges;

mariadbインストールリンクhttps://www.linode.com/docs/databases/mariadb/how-to-install-mariadb-on-centos-7/
cp hive-default.xml hive-site.xml


    javax.jdo.option.ConnectionPassword
    hive
  
  
    javax.jdo.option.ConnectionURL
    jdbc:mysql://vb-7:3306/hive
  

    javax.jdo.option.ConnectionDriverName
    com.mysql.jdbc.Driver
  
  
    javax.jdo.option.ConnectionPassword
    hive

参照先:
https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+3.0+Administration

開始
hiveserver2

接続例外

Caused by: java.net.URISyntaxException: Relative path in absolute URI:

${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
        ；
 /opt/package/data/hive/tmpdir

hiveclasspathパスを構成します.

メタデータの初期化

 schematool -dbType mysql -initSchema

ドライバのバージョンはあまり新しくないことに注意してください.ドライバが見つかりません.5.1.43バージョンのドライバは見つかりません.(長いこと調べた)
cp/opt/package/mysql-connector-java-5.1.38.jar ./lib/
このバージョンは可能です.

匿名ユーザーのアクセスは許可されていません.
追加された構成
core-site.xmlの構成



   hadoop.proxyuser.dota.hosts  * 

hadoop.proxyuser.dota.groups
 *







hive-site.xml 。
    
 
 

  beeline.hs2.connection.user  dota

beeline.hs2.connection.password
  dota 

vb-7:10000
  beeline.hs2.connection.hosts








 
 
  beeline 。
!connect jdbc:hive2://vb-7:10000/default dota
 
https://gitee.com/hshe/pubtest/tree/master/hadoop3

JavaでのlongタイプとLongタイプの比較サイズ

ubuntu共通コマンドおよび設定