Hiveのインストール構成と原理はhiveのhive-siteの欠如を完璧に解決する.xmlファイル、セキュリティモードでhiveを起動できないなどの問題があります.

5021 ワード

Hiveの原理
  • HiveはHadoopベースのデータウェアハウスツールで、構造化されたデータファイルをデータベース・テーブルにマッピングし、sqlクエリー機能を完全に提供し、sql文をMapReduceタスクに変換して実行できます.その利点は学習コストが低く、クラスSQL文を通じて簡単なMapReduce統計を迅速に実現でき、専門的なMapReduce応用を開発する必要がなく、データウェアハウスの統計分析に非常に適していることである.
  • Hvieは、Hadoop上に構築されたデータウェアハウスインフラストラクチャです.Hadoopに格納された大規模なデータを格納、クエリー、分析できる一連のツールを提供します.Hiveは、HQLと呼ばれる簡単なクラスSQLクエリー文を定義し、SQLに詳しいユーザーがデータをクエリーできるようにします.また、この言語では、MapReduce開発者のカスタムmapperとreducerの開発を熟知して、組み込まれたmapperとreducerではできない複雑な分析作業を処理することもできます.
  • HiveはSQLのクエリー言語HQLを採用しているため、Hiveをデータベースとして容易に理解できる.実は構造的に見ると、Hiveとデータベースは似たようなクエリー言語を持っている以外に、似たようなところはありません.この文書では、Hiveとデータベースの違いについていくつかの側面から説明します.データベースはOnlineのアプリケーションで使用できますが、Hiveはデータウェアハウスのために設計されていることがわかり、Hiveの特性をアプリケーションの観点から理解するのに役立ちます.

  • Hiveのインストール
    1、mysqlをインストールして構成します.
    前にブログに書いたことがありますが、インストール構成手順は下のリンクをクリックして、ここではあまり言いません.mysqlインストール構成
    2,官网下载hive-1.1.0-cdh 5.14.2バージョンのhiveインストールパッケージ.
    3,xshellのxftpを利用して/optにアップロードする
    4、インストールパッケージを解凍する
    tar -zxvf hive-1.1.0_cdh5.14.2
    

    5、解凍したインストールパッケージを/opt/softの下に置く
    [root@sql opt]# mv hive-1.1.0-cdh5.14.2 soft/hive110 
    

    6、hive 110ファイルの下にプロファイルconfの下のhive-siteを見つけます.xml
    [root@sql soft]# cd hive110/
    [root@sql hive110]# ls
    auxlib  conf  docs      hcatalog  LICENSE  README.txt         scripts
    bin     data  examples  lib       NOTICE   RELEASE_NOTES.txt
    [root@sql hive110]# cd conf/
    [root@sql conf]# ls
    beeline-log4j.properties.template  hive-exec-log4j.properties.template  ivysettings.xml
    hive-env.sh.template               hive-log4j.properties.template
    
    

    ここでconfフォルダの下にhive-siteがないことを発見しました.xmlでは、このプロファイルを生でこすってみましょう.どうせ多くはありません.まずhive 110フォルダの下にデータウェアハウスファイルを作成し、hiveが構築したデータベースとテーブルを配置します.
    [root@sql hive110]# mkdir warehouse
    

    プロファイルをこすります.
    [root@sql conf]# vi hive-site.xml
    
    
    
    
            
                    hive.metastore.warehouse.dir
                    /opt/soft/hive110/warehouse
                    
            
            
                    hive.metastore.local
                    true
            
            
                    javax.jdo.option.ConnectionURL
                    jdbc:mysql://192.168.56.101:3306/hive?createDatabaseIfNotExist=true	
                    
            
            
                    javax.jdo.option.ConnectionDriverName
                    com.mysql.jdbc.Driver
            
            
                    javax.jdo.option.ConnectionUserName
                    root
            
            
                    javax.jdo.option.ConnectionPassword
                    ok
                    
            
    
    
    

    7,仮想マシンにおけるhiveの実行環境の構成
    まずhiveのパスを表示
    [root@sql hive110]# pwd
    /opt/soft/hive110
    

    パスをコピーします.hiveの実行環境の構成を開始
    [root@sql hive110]# vi /etc/profile
    

    ファイルの最後に次の構成を追加します.
    export HIVE_HOME=/opt/soft/hive110
    export PATH=$PATH:$HIVE_HOME/bin
    

    保存を終了します.(esc + :wq)
    8、プロファイルのアクティブ化
    source /etc/profile
    

    そして hive110/lib xftp mysql-connector-java-5.1.38 jar !!!!9,mysqlデータベースを初期化する
    [root@sql hive110]# schematool -initSchema -dbType mysql
    

    Navicatで自分の仮想マシンデータベースに接続し、hiveデータベースが1つもないことを確認します.あればいいのに.
    10、xshellに戻ってhadoopを開きます.
     [root@sql hive110]# start-all.sh
     [root@sql hive110]# jps
    13168 ResourceManager
    13011 SecondaryNameNode
    14371 DataNode
    21307 Jps
    13788 NameNode
    13261 NodeManager
    

    11、hiveをオン
    [root@sql hive110]# hive
    which: no hbase in (/opt/soft/jdk180/bin:/opt/soft/jdk180/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/soft/hadoop260/sbin:/opt/soft/hadoop260/bin:/root/bin:/opt/soft/hadoop260/sbin:/opt/soft/hadoop260/bin:/opt/soft/hive110/bin)
    19/11/29 19:20:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    19/11/29 19:20:33 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist
    
    Logging initialized using configuration in jar:file:/opt/soft/hive110/lib/hive-common-1.1.0-cdh5.14.2.jar!/hive-log4j.properties
    WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
    hive> drop database if exists mydemo;
    OK
    Time taken: 4.978 seconds
    hive> create database mydemo;
    OK
    Time taken: 0.323 seconds
    hive> use mydemo;
    OK
    Time taken: 0.025 seconds
    
    

    hiveをオンにするセキュリティモードでエラー入力hadoop dfsadmin -safemode leaveコマンドがあったらセキュリティモードを終了し、hiveを再開すればよい.