hadoopにsnappyを取り付けます.

5532 ワード
hadoop snapp
snappyも開源の高効率圧縮と解凍フレームである.具体的な紹介はここではもう詳しく説明しません.公式サイトで調べられます.
 インストールに必要なソフトウェア:gcc、g+、snappyパッケージ、hadoop-snappyソースパッケージ、maven.
 gccはuuntuにインストールされていますが、もしインストールされていないなら、g++,mavenを含めて、以下のコマンドでインストールできます.

  
  
  
  
    
   
   
   
   
  1. sudo apt-get install gcc g++ maven2 
    2.
ダウンロードパッケージ:
  snappy:http://code.google.com/p/snappy/downloads/list
  次のコマンドを実行します

  
  
  
  
    
   
   
   
   
  1. tar -zxvf snappy-1.0.5.tar.gz 
    2. 
   
   
   
   
  2. cd snappy-1.0.5 
    3. 
   
   
   
   
  3. ./configure 
    4. 
   
   
   
   
  4. make 
    5. 
   
   
   
   
  5. sudo make install 
    6.
  SVNクライアントを使用してhadoop-snappyソースをダウンロードします.
  ダウンロード先:http://hadoop-snappy.googlecode.com/svn/trunk/
 hadoop-snappyをコンパイルするにはatomakeとlibtoolパッケージが必要です.次のコマンドを実行します.

  
  
  
  
    
   
   
   
   
  1. sudo apt-get install automake libtool 
    2. 
   
   
   
   
  2. cd hadoop-snappy 
    3. 
   
   
   
   
  3. mvn package 
    4.
そしてコンパイルした後の hadoop-snappy-1.05-tar/hadoop-snappy-1.05/lib/下のjarバッグをHADOOPにコピーします.HOME/libで、プロファイルcore-site.xmlを修正します.

  
  
  
  
    
   
   
   
   
  1. <property> 
    2. 
   
   
   
   
  2. <name>mapred.compress.map.output</name> 
    3. 
   
   
   
   
  3. <value>true</value> 
    4. 
   
   
   
   
  4. </property> 
    5. 
   
   
   
   
  5. <property> 
    6. 
   
   
   
   
  6. <name>mapred.map.output.compression.codec</name> 
    7. 
   
   
   
   
  7. <value>org.apache.hadoop.io.compress.SnappyCodec</value> 
    8. 
   
   
   
   
  8. </property> 
    9. 
   
   
   
   
  9. <property> 
    10. 
   
   
   
   
  10. <name>io.compression.codecs</name> 
    11. 
   
   
   
   
  11. <value>org.apache.hadoop.io.compress.GzipCodec, 
    12. 
   
   
   
   
  12. org.apache.hadoop.io.compress.DefaultCodec, 
    13. 
   
   
   
   
  13. org.apache.hadoop.io.compress.BZip2Codec, 
    14. 
   
   
   
   
  14. com.hadoop.compression.lzo.LzoCodec, 
    15. 
   
   
   
   
  15. com.hadoop.compression.lzo.LzopCodec, 
    16. 
   
   
   
   
  16. org.apache.hadoop.io.compress.SnappyCodec 
    17. 
   
   
   
   
  17. </value> 
    18. 
   
   
   
   
  18. </property> 
    19. 
   
   
   
   
  19. <property> 
    20. 
   
   
   
   
  20. <name>io.compression.codec.lzo.class</name> 
    21. 
   
   
   
   
  21. <value>com.hadoop.compression.lzo.LzoCodec</value> 
    22. 
   
   
   
   
  22. </property> 
    23.
その後、ハdoopを再起動して完了します.
javascriptの中のstyle.display=blockの中のblockはどのように理解しますか?