Hive学習と配置Mysql

6001 ワード
hadoop hive
1.Hive概要
起源はfacebookからJeff Hammerbacherによって指導されたチームがHadoop上のデータ倉庫のフレームワークを構築するために設計されたものです。SQLの技能を良好にすることが目的ですが、Javaの技能が弱いアナリストはハイドデータを調べられます。2008年facebookはhiveプロジェクトをAppheに貢献します。
 Hiveのコンポーネントとアーキテクチャ
ユーザーインタフェース：shell、thrift、webなどのサーバサーバの元データベース「Derby、MysqlなどのHadoop
 Hiveインストールモード
埋め込みモード：メタデータは埋め込まれたDerbyモードに保持され、セッション接続（デフォルト）ローカル独立モードのみが許可されます。ローカルにMysqlをインストールして、メタデータをMysql内リモートモードに配置します。メタデータはリモートのMysqlデータベースに配置されます。
2.配置Mysql
1:copy mysql-connector-java-51.16-bin.jarは$HIVEG/libに着きます。
[jifeng@jifeng02 hadoop]$ ls
7287OS_Code              hadoop-1.2.1.tar.gz      hive-0.12.0-bin                     tmp
hadoop-1.2.1             hadoop-2.4.1-src.tar.gz  hive-0.12.0-bin.tar.gz
hadoop-1.2.1-bin.tar.gz  hadoop-2.4.1.tar.gz      mysql-connector-java-5.1.6-bin.jar
[jifeng@jifeng02 hadoop]$ cp mysql-connector-java-5.1.6-bin.jar hive-0.12.0-bin/lib
2:修正$HIVEG/conf/hive-site.xml
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://jifengsql:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.PersistenceManagerFactoryClass</name>
  <value>org.datanucleus.api.jdo.JDOPersistenceManagerFactory</value>
  <description>class implementing the jdo persistence</description>
</property>

<property>
  <name>javax.jdo.option.DetachAllOnCommit</name>
  <value>true</value>
  <description>detaches all objects from session so that they can be used after transaction is committed</
description>
</property>

<property>
  <name>javax.jdo.option.NonTransactionalRead</name>
  <value>true</value>
  <description>reads outside of transactions</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>dss</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>jifeng</value>
  <description>password to use against metastore database</description>
</property>
3:hiveを起動する
[jifeng@jifeng02 hive-0.12.0-bin]$ hive

Logging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.properties
hive> show tables;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
hive> quit;
は間違いを報告して、ネット上で調べた後に言います。 mysqlのjarバッグmysql-connector-java-51.10-bin.jarは、hiveインストールディレクトリのlibの下に置いてあります。
握り mysql-connector-java-51.6-bin.jarをmysql-connector-java-51.10-bin.jarに置き換えるのはまだ無理です。
mysqlが接続できないことを発見しました。仮想マシンのmysqlに交換します。
[dss@localhost ~]$ mysql -u root -p
Enter password: 
--root   mysql
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 70
Server version: 5.6.16 MySQL Community Server (GPL)


Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.


Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.


Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.


mysql> create database hive;
Query OK, 1 row affected (0.01 sec) --  hive 


mysql> GRANT all ON hive.* TO dss@'%' IDENTIFIED BY 'abc123';
Query OK, 0 rows affected (0.03 sec)-- dss   hive   


mysql> flush privileges;
Query OK, 0 rows affected (0.02 sec)--       


mysql> set globalbinlog_format='MIXED'; 
ERROR 1193 (HY000): Unknown system variable 'globalbinlog_format'
mysql> alter database hive character set latin1 ;
Query OK, 1 row affected (0.00 sec)--
再起動
[jifeng@jifeng02 hive-0.12.0-bin]$ hive

Logging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.properties
hive> show tables;
OK
Time taken: 6.273 seconds
hive>
間違いはありません
4.Hiveの運転モードすなわちタスクの実行環境
1起動hive コマンドラインモード:
1：嚖hiveの実行プログラムを直接入力し、
2：または入力 #hive--service cli
 
l  ローカルとクラスタに分けられます。
私たちはmapred.job.trackerを通してもいいです。 を指定します
設定:
hive> 
SET mapred.job.trocer=local
 
2.hive検証起動の方法
l  1、hive webインターフェースの（ポート番号9999） 起動モード
ヽoo。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。  
[jifeng@jifeng02 hive-0.12.0-bin]$ hive --service cli

Logging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.properties
hive> quit;
[jifeng@jifeng02 hive-0.12.0-bin]$ hive --service hwi 
15/08/17 15:17:10 INFO hwi.HWIServer: HWI is starting up
15/08/17 15:17:10 INFO mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
15/08/17 15:17:10 INFO mortbay.log: jetty-6.1.26
15/08/17 15:17:10 INFO mortbay.log: Extract /home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-hwi-0.12.0.war to /tmp/Jetty_0_0_0_0_9999_hive.hwi.0.12.0.war__hwi__ow27i/webapp
15/08/17 15:17:11 INFO mortbay.log: Started [email protected]:9999
ブラウザでhiveにアクセスするために使用します。
http://jifeng02:9999/hwi/
l  2、hive リモートサービス（ポート番号10000） 起動モード
皒hive--service hiveserver
LeetcodeツリーMaximm Depth of Binary Tree
Ubuntu Go言語のインストール記録