Linux 7の下でHadoopクラスタユーザー管理方案の5 Hadoopクラスタが遭遇したピットをインストールする
7799 ワード
自分が取り付けた時に遭遇した一部の穴.
パスワードも使えません.の
まさか..kdcを変更しました.conf?? IPからポートに変更しました
PS.これはまだ解決していません.のKerberosはユーザーを作成し、作成したユーザーパスワードが期限切れになった後に使用できないという問題があります.Kerberosはまだ完全に食べきれず、まだ解決していません.
パスワードがだめだからです.の
どうやって永久のパスワードを手に入れますか?
kinit: Cannot determine realm for host (principal host/6accda1c7f91@)
Failed on local exception: java.io.IOException: java.lang.IllegalArgumentException: Server has invalid Kerberos prin
cipal: hdfs/[email protected]; Host Details : local host is: "6accda1c7f91/172.19.0.2"; destination host is: "10.20.66.212":8020;
ソリューション:/etc/hostsで10.20.66.212 masterを構成する必要があります.
/opt/cm-5.9.0/share/cmf/bin/gen_credentials.sh failed with exit code 1 and output of <<
+ export PATH=/usr/kerberos/bin:/usr/kerberos/sbin:/usr/lib/mit/sbin:/usr/sbin:/usr/lib/mit/bin:/usr/bin:/sbin:/usr/sbin:/bin:/usr/bin
+ PATH=/usr/kerberos/bin:/usr/kerberos/sbin:/usr/lib/mit/sbin:/usr/sbin:/usr/lib/mit/bin:/usr/bin:/sbin:/usr/sbin:/bin:/usr/bin
+ CMF_REALM=HADOOP.COM
+ KEYTAB_OUT=/tmp/cmf2885609246198664122.keytab
+ PRINC=yarn/[email protected]
+ MAX_RENEW_LIFE=432000
+ KADMIN='kadmin -k -t /tmp/cmf8365314439897372734.keytab -p cloudera-scm/[email protected] -r HADOOP.COM'
+ RENEW_ARG=
+ '[' 432000 -gt 0 ']'
+ RENEW_ARG='-maxrenewlife "432000 sec"'
+ '[' -z /tmp/krb54503148931985644829.conf ']'
+ echo 'Using custom config path '\''/tmp/krb54503148931985644829.conf'\'', contents below:'
+ cat /tmp/krb54503148931985644829.conf
+ kadmin -k -t /tmp/cmf8365314439897372734.keytab -p cloudera-scm/[email protected] -r HADOOP.COM -q 'addprinc -maxrenewlife "432000 sec" -randkey yarn/[email protected]'
kadmin: Cannot contact any KDC for realm ' HADOOP.COM' while initializing kadmin interface
>>
kinit: Cannot contact any KDC for realm 'HADOOP.COM' while getting initial credentials
ソリューション1:表示/etc/krb 5.conf
2:表示/etc/hosts:Kerberosサービスが を開始したかどうかを確認します.
エージェントエラーの開始
.tail -200f/opt/cm-5.9.0/log/cloudera-scm-agent/cloudera-scm-agent.log
[25/Apr/2017 13:15:31 +0000] 15953 MainThread agent INFO CM server guid: 8dd2c1ca-ef6c-434f-93bf-267c0fd763c7
[25/Apr/2017 13:15:31 +0000] 15953 MainThread agent INFO Using parcels directory from server provided value:/opt/cloudera/parcels
[25/Apr/2017 13:15:31 +0000] 15953 MainThread parcel INFO Agent does create users/groups and apply file permissions
[25/Apr/2017 13:15:31 +0000] 15953 MainThread parcel_cache INFO Using/opt/cloudera/parcel-cache for parcel cache
[25/Apr/2017 13:15:31 +0000] 15953 MainThread agent ERROR Caught unexpected exception in main loop.
Traceback (most recent call last):
File "/opt/cm-5.9.0/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.9.0-py2.7.egg/cmf/agent.py", line 758, in start
self._init_after_first_heartbeat_response(resp_data)
File "/opt/cm-5.9.0/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.9.0-py2.7.egg/cmf/agent.py", line 938, in _init_after_first_heartbeat_response
self.client_configs.load()
File "/opt/cm-5.9.0/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.9.0-py2.7.egg/cmf/client_configs.py", line 682, in load
new_deployed.update(self._lookup_alternatives(fname))
File "/opt/cm-5.9.0/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.9.0-py2.7.egg/cmf/client_configs.py", line 432, in _lookup_alternatives
return self._parse_alternatives(alt_name, out)
File "/opt/cm-5.9.0/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.9.0-py2.7.egg/cmf/client_configs.py", line 444, in _parse_alternatives
path, _, _, priority_str = line.rstrip().split("")
ValueError: too many values to unpack
ソリューション:
http://community.cloudera.com/t5/Cloudera-Manager-Installation/Freeze-while-activating-the-CDH-Parcels/td-p/47771
JDKのバージョンの問題のようですか?
https://community.cloudera.com/t5/Cloudera-Manager-Installation/Freeze-while-activating-the-CDH-Parcels/m-p/47805#M8795
OpenJDKを削除する必要があります.Oracle JDKを使用します.
注意ソース
また..注意export JAVA_ホーム......低級なミスを犯した
pstreeコマンドを使用できません
#On Mac OS
brew install pstree
#On Fedora/Red Hat/CentOS
yum install psmisc #using psmisc package for pstree
#On Ubuntu/Debian APT
apt-get install psmisc
もう一つの問題.
Failed to format NameNode
/usr/lib/hadoop-hdfs/bin/hdfs:そのファイルやディレクトリがありません
ノードを追加しているページをずっと聞いています.delete CDHの表示
ユーザーがいないから??
useradd --system --home=/opt/cm-
5.6
.
0
/run/cloudera-scm-server --shell=/bin/
false
--comment
"Cloudera SCM User"
cloudera-scm
chown cloudera-scm:cloudera-scm/opt/cloudera/parcels
mkdir -p/opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm/opt/cloudera/parcel-repo
mkdir -p/opt/cloudera/parcels
chown cloudera-scm:cloudera-scm/opt/cloudera/parcels
ソリューション:
やはりユーザーがいないのか、あとは無密登録
またagentノード上のparcel-repoディレクトリを削除します.
parclesディレクトリに残っているデータを空にする
Hive起動時message:Version information not found in metastore
Parcel not distribute
d but have active state ACTIVATING
/opt/cloudera/parcelsの下に残っているファイルを削除してみてください
Failed to format namenode
各ノードでcloudera-scmユーザーを作成して、対応する権限を別途設定してみます.
新しいHadoopの機械.訪問はいつも私に言ってくれた.
Server has invalid Kerberos principal: hdfs/[email protected]; Host Details : local host is: "shihys-MacBook-Pro.local/10.20.5.172"; destination host is: "10.10.106.156":8020;
思い出すと設定/etc/hosts
設定した後.
また新しい間違いが出た.
Failed on local exception: java.io.IOException: Couldn't setup connection for [email protected] to edu-bigdata-01.novalocal/10.10.106.156:8020; Host Details : local host is: "shihys-MacBook-Pro.local/10.20.5.174"; destination host is: "edu-bigdata-01.novalocal":8020;
[Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
kinit: krb5_get_init_creds: time skew (43202) larger than max (300)
時間が合わない.違いが多すぎる
行ってきました...なんとKerberos時間とローカル時間の差が多すぎるからです.
やっと原因が見つかりました.の気絶した.
主にタイムゾーンを見なければなりません.の
EDU CST...
date-UはUTC時間を見ます.の一番正確です.
パスワードも使えません.の
まさか..kdcを変更しました.conf?? IPからポートに変更しました
PS.これはまだ解決していません.のKerberosはユーザーを作成し、作成したユーザーパスワードが期限切れになった後に使用できないという問題があります.Kerberosはまだ完全に食べきれず、まだ解決していません.
/opt/cm-5.9.0/share/cmf/bin/gen_credentials.sh failed with exit code 1 and output of <<
+ export PATH=/usr/kerberos/bin:/usr/kerberos/sbin:/usr/lib/mit/sbin:/usr/sbin:/usr/lib/mit/bin:/usr/bin:/sbin:/usr/sbin:/bin:/usr/bin
+ PATH=/usr/kerberos/bin:/usr/kerberos/sbin:/usr/lib/mit/sbin:/usr/sbin:/usr/lib/mit/bin:/usr/bin:/sbin:/usr/sbin:/bin:/usr/bin
+ CMF_REALM=HADOOP.COM
+ KEYTAB_OUT=/tmp/cmf1986556804032057570.keytab
+ PRINC=yarn/[email protected]
+ MAX_RENEW_LIFE=432000
+ KADMIN='kadmin -k -t /tmp/cmf817148388354671948.keytab -p cloudera-scm/[email protected] -r HADOOP.COM'
+ RENEW_ARG=
+ '[' 432000 -gt 0 ']'
+ RENEW_ARG='-maxrenewlife "432000 sec"'
+ '[' -z /tmp/krb59017674432558873467.conf ']'
+ echo 'Using custom config path '\''/tmp/krb59017674432558873467.conf'\'', contents below:'
+ cat /tmp/krb59017674432558873467.conf
+ kadmin -k -t /tmp/cmf817148388354671948.keytab -p cloudera-scm/[email protected] -r HADOOP.COM -q 'addprinc -maxrenewlife "432000 sec" -randkey yarn/[email protected]'
kadmin: Incorrect password while initializing kadmin interface
>>
パスワードがだめだからです.の
どうやって永久のパスワードを手に入れますか?
kinit: Cannot determine realm for host (principal host/6accda1c7f91@)
Failed on local exception: java.io.IOException: java.lang.IllegalArgumentException: Server has invalid Kerberos prin
cipal: hdfs/[email protected]; Host Details : local host is: "6accda1c7f91/172.19.0.2"; destination host is: "10.20.66.212":8020;
ソリューション:/etc/hostsで10.20.66.212 masterを構成する必要があります.
/opt/cm-5.9.0/share/cmf/bin/gen_credentials.sh failed with exit code 1 and output of <<
+ export PATH=/usr/kerberos/bin:/usr/kerberos/sbin:/usr/lib/mit/sbin:/usr/sbin:/usr/lib/mit/bin:/usr/bin:/sbin:/usr/sbin:/bin:/usr/bin
+ PATH=/usr/kerberos/bin:/usr/kerberos/sbin:/usr/lib/mit/sbin:/usr/sbin:/usr/lib/mit/bin:/usr/bin:/sbin:/usr/sbin:/bin:/usr/bin
+ CMF_REALM=HADOOP.COM
+ KEYTAB_OUT=/tmp/cmf2885609246198664122.keytab
+ PRINC=yarn/[email protected]
+ MAX_RENEW_LIFE=432000
+ KADMIN='kadmin -k -t /tmp/cmf8365314439897372734.keytab -p cloudera-scm/[email protected] -r HADOOP.COM'
+ RENEW_ARG=
+ '[' 432000 -gt 0 ']'
+ RENEW_ARG='-maxrenewlife "432000 sec"'
+ '[' -z /tmp/krb54503148931985644829.conf ']'
+ echo 'Using custom config path '\''/tmp/krb54503148931985644829.conf'\'', contents below:'
+ cat /tmp/krb54503148931985644829.conf
+ kadmin -k -t /tmp/cmf8365314439897372734.keytab -p cloudera-scm/[email protected] -r HADOOP.COM -q 'addprinc -maxrenewlife "432000 sec" -randkey yarn/[email protected]'
kadmin: Cannot contact any KDC for realm ' HADOOP.COM' while initializing kadmin interface
>>
kinit: Cannot contact any KDC for realm 'HADOOP.COM' while getting initial credentials
ソリューション1:表示/etc/krb 5.conf
2:表示/etc/hosts
エージェントエラーの開始
.tail -200f/opt/cm-5.9.0/log/cloudera-scm-agent/cloudera-scm-agent.log
[25/Apr/2017 13:15:31 +0000] 15953 MainThread agent INFO CM server guid: 8dd2c1ca-ef6c-434f-93bf-267c0fd763c7
[25/Apr/2017 13:15:31 +0000] 15953 MainThread agent INFO Using parcels directory from server provided value:/opt/cloudera/parcels
[25/Apr/2017 13:15:31 +0000] 15953 MainThread parcel INFO Agent does create users/groups and apply file permissions
[25/Apr/2017 13:15:31 +0000] 15953 MainThread parcel_cache INFO Using/opt/cloudera/parcel-cache for parcel cache
[25/Apr/2017 13:15:31 +0000] 15953 MainThread agent ERROR Caught unexpected exception in main loop.
Traceback (most recent call last):
File "/opt/cm-5.9.0/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.9.0-py2.7.egg/cmf/agent.py", line 758, in start
self._init_after_first_heartbeat_response(resp_data)
File "/opt/cm-5.9.0/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.9.0-py2.7.egg/cmf/agent.py", line 938, in _init_after_first_heartbeat_response
self.client_configs.load()
File "/opt/cm-5.9.0/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.9.0-py2.7.egg/cmf/client_configs.py", line 682, in load
new_deployed.update(self._lookup_alternatives(fname))
File "/opt/cm-5.9.0/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.9.0-py2.7.egg/cmf/client_configs.py", line 432, in _lookup_alternatives
return self._parse_alternatives(alt_name, out)
File "/opt/cm-5.9.0/lib64/cmf/agent/build/env/lib/python2.7/site-packages/cmf-5.9.0-py2.7.egg/cmf/client_configs.py", line 444, in _parse_alternatives
path, _, _, priority_str = line.rstrip().split("")
ValueError: too many values to unpack
ソリューション:
http://community.cloudera.com/t5/Cloudera-Manager-Installation/Freeze-while-activating-the-CDH-Parcels/td-p/47771
JDKのバージョンの問題のようですか?
https://community.cloudera.com/t5/Cloudera-Manager-Installation/Freeze-while-activating-the-CDH-Parcels/m-p/47805#M8795
OpenJDKを削除する必要があります.Oracle JDKを使用します.
注意ソース
また..注意export JAVA_ホーム......低級なミスを犯した
pstreeコマンドを使用できません
#On Mac OS
brew install pstree
#On Fedora/Red Hat/CentOS
yum install psmisc #using psmisc package for pstree
#On Ubuntu/Debian APT
apt-get install psmisc
もう一つの問題.
Failed to format NameNode
/usr/lib/hadoop-hdfs/bin/hdfs:そのファイルやディレクトリがありません
ノードを追加しているページをずっと聞いています.delete CDHの表示
ユーザーがいないから??
useradd --system --home=/opt/cm-
5.6
.
0
/run/cloudera-scm-server --shell=/bin/
false
--comment
"Cloudera SCM User"
cloudera-scm
chown cloudera-scm:cloudera-scm/opt/cloudera/parcels
mkdir -p/opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm/opt/cloudera/parcel-repo
mkdir -p/opt/cloudera/parcels
chown cloudera-scm:cloudera-scm/opt/cloudera/parcels
ソリューション:
やはりユーザーがいないのか、あとは無密登録
またagentノード上のparcel-repoディレクトリを削除します.
parclesディレクトリに残っているデータを空にする
Hive起動時message:Version information not found in metastore
Parcel not distribute
d but have active state ACTIVATING
/opt/cloudera/parcelsの下に残っているファイルを削除してみてください
Failed to format namenode
各ノードでcloudera-scmユーザーを作成して、対応する権限を別途設定してみます.
新しいHadoopの機械.訪問はいつも私に言ってくれた.
Server has invalid Kerberos principal: hdfs/[email protected]; Host Details : local host is: "shihys-MacBook-Pro.local/10.20.5.172"; destination host is: "10.10.106.156":8020;
思い出すと設定/etc/hosts
設定した後.
また新しい間違いが出た.
Failed on local exception: java.io.IOException: Couldn't setup connection for [email protected] to edu-bigdata-01.novalocal/10.10.106.156:8020; Host Details : local host is: "shihys-MacBook-Pro.local/10.20.5.174"; destination host is: "edu-bigdata-01.novalocal":8020;
[Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
kinit: krb5_get_init_creds: time skew (43202) larger than max (300)
時間が合わない.違いが多すぎる
行ってきました...なんとKerberos時間とローカル時間の差が多すぎるからです.
やっと原因が見つかりました.の気絶した.
主にタイムゾーンを見なければなりません.の
EDU CST...
date-UはUTC時間を見ます.の一番正確です.