hadoop 2.7プロファイル

3423 ワード

次は私が使用可能なプロファイルをテストして、環境を構築するには別の文章を参照してください.

/etc/hadoop/core-site.xml(システムにtmpフォルダを作成)



fs.defaultFS
hdfs://n1:9000


io.file.buffer.size
131072


hadoop.tmp.dir
file:/home/grid/hadoop-2.7.3/tmp
Abase for other temporary directories.


hadoop.proxyuser.hduser.hosts
*


hadoop.proxyuser.hduser.groups
*

/etc/hadoop/hdfs-site.xml(dirパスに従ってシステムにディレクトリを新規作成)



dfs.namenode.secondary.http-address
n1:9001


dfs.namenode.name.dir
file:/home/grid/hadoop-2.7.3/name


dfs.datanode.data.dir
file:/home/grid/hadoop-2.7.3/data


dfs.replication
2


dfs.webhdfs.enabled
true

/etc/hadoop/yarn-site.xml



    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.auxservices.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    
    
        yarn.resourcemanager.address
        n1:8032
    
    
        yarn.resourcemanager.scheduler.address
        n1:8030
    
    
        yarn.resourcemanager.resource-tracker.address
        n1:8031
    
    
        yarn.resourcemanager.admin.address
        n1:8033
    
    
        yarn.resourcemanager.webapp.address
        n1:8088
    
    
        yarn.nodemanager.vmem-check-enabled
        false
    
    
   yarn.nodemanager.vmem-pmem-ratio
    4
    Ratio between virtual memory to physical memory when setting memory limits for containers
 

yarn.nodemanager.resource.memory-mb
1024 
 

yarn.scheduler.minimum-allocation-mb
 128

/etc/hadoop/mapred-site.xml(テンプレートをコピーして変更)



mapreduce.framework.name
yarn


mapreduce.jobhistory.address
n1:10020


mapreduce.jobhistory.webapp.address
n1:19888


    yarn.app.mapreduce.am.resource.mb
    768

修正/hadoop-2.7.3/etc/hadoopディレクトリ下hadoop-env.sh、yarn-env.shのJAVA_HOME(修正必須、$JAVA_HOMEでは不可)

export JAVA_HOME=/usr/jdk1.8.0_131

修正/etc/hadoop/slaves

d1 d2

Webチャットルームベースの自動化テストスクリプト

【django】【基礎】templates