Hadoopの起動時に1つのdatanodeしかない解決方法について

2399 ワード

  • はネットでdatanodeのclusterID、2つのdatanodeの一致による問題を検索します.以前hadoopをインストールしていたとき、最初は何度もエラーが分からなかったので、何度もフォーマットしたので、エラーが発生しました.ネットでclusterIDかstorageIDが一致したという問題を探してhadoopディレクトリの下のhdfsに
  • に着きました
    [root@slave1 current]# pwd
    /usr/hadoop/hadoop-2.7.3/hdfs/data/current
    

    currentディレクトリを開く
    [root@slave1 current]# ls
    BP-200911303-192.168.80.129-1563093355875  VERSION
    

    VERSIONを表示します.以下はmasterノードのVERSIONからslave 1、slave 2までです.
    #Sat Apr 13 17:52:35 XJT 2019
    storageID=DS-d6186a03-6c92-4100-adfb-17c05c34ba18
    clusterID=CID-2a1e6c76-5877-4c48-88ad-cc362fc4aa3f
    cTime=0
    datanodeUuid=f4d65cc4-79ce-4767-9af1-9bbbd9efef73
    storageType=DATA_NODE
    layoutVersion=-56
    
    
    #Sat May 25 22:37:35 PDT 2019
    storageID=DS-0ba57a02-b8b6-42e0-8d08-d1e733048df8
    clusterID=CID-3f144e2c-3180-4a42-a4c0-ac483bfe64c1
    cTime=0
    datanodeUuid=5202b3ed-a700-48e0-80ea-1144f80536bc
    storageType=DATA_NODE
    layoutVersion=-56
    
    
    #Sun Jul 14 00:19:57 PDT 2019
    storageID=DS-08d0d116-79dc-4028-bd53-5c159edb334c
    clusterID=CID-3f144e2c-3180-4a42-a4c0-ac483bfe64c1
    cTime=0
    datanodeUuid=c48d3f5b-5ef4-4d95-a703-0fc8ee3db09e
    storageType=DATA_NODE
    layoutVersion=-56
    

    slave 1とslave 2のclusterIDは同じなので、前に見たように両者のclusterIDを違うように修正すれば成功しますが、修正した結果は前と同じなので、直接的な方法を採用すると思います
    2.slave 1ノードとslave 2ノードのhadoop下のhdfsディレクトリを見つけ、dataディレクトリとtmpディレクトリ下のすべてのファイルを削除し、hadoopを再フォーマットして再生成します.hadoopディレクトリの下でフォーマット[root@master hadoop]# hadoop namenode -format
    フォーマットに成功したらhadoopを再起動し、2つのslaveノードにdatanodeがあります.
    [root@master current]# cat VERSION
    #Sat Apr 13 17:52:35 XJT 2019
    storageID=DS-d6186a03-6c92-4100-adfb-17c05c34ba18
    clusterID=CID-2a1e6c76-5877-4c48-88ad-cc362fc4aa3f
    cTime=0
    datanodeUuid=f4d65cc4-79ce-4767-9af1-9bbbd9efef73
    storageType=DATA_NODE
    layoutVersion=-56
    
    
    [root@slave1 current]# cat VERSION
    #Sun Jul 14 01:36:24 PDT 2019
    storageID=DS-1034afc9-93be-45d7-9216-a5698e9e7605
    clusterID=CID-0448f134-8314-4674-9376-e4e173686e8a
    cTime=0
    datanodeUuid=0cf4c64e-982b-44de-9791-2aff51103943
    storageType=DATA_NODE
    layoutVersion=-56
    
    
    [root@slave2 current]# cat VERSION
    #Sun Jul 14 01:36:23 PDT 2019
    storageID=DS-3f24d122-e530-41fd-8e9a-95cd4e3984a5
    clusterID=CID-0448f134-8314-4674-9376-e4e173686e8a
    cTime=0
    datanodeUuid=198d2c8f-c5bf-42eb-a59b-b3ffbf9434e9
    storageType=DATA_NODE
    layoutVersion=-56
    

    これはフォーマットに成功した後、いくつかのノードの情報を表示します.