[セットトップ]HadoopはCのAPIを通じてHDFSにアクセスする

HadoopのCのAPIでHDFSにアクセスした際、コンパイルや実行に多くの問題が発生しましたが、ここで、まとめてみましょう.
システム:Ubuntu 11.04,Hadoop-0.20.203.0
サンプルコードは、公式ドキュメントを参照して次のように提供されます.

#include "hdfs.h" 

int main(int argc, char **argv) {

    hdfsFS fs = hdfsConnect("default", 0);
    const char* writePath = "/tmp/testfile.txt";
    hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY|O_CREAT, 0, 0, 0);
    if(!writeFile) {
          fprintf(stderr, "Failed to open %s for writing!
", writePath);
          exit(-1);
    }
    char* buffer = "Hello, World!";
    tSize num_written_bytes = hdfsWrite(fs, writeFile, (void*)buffer, strlen(buffer)+1);
    if (hdfsFlush(fs, writeFile)) {
           fprintf(stderr, "Failed to 'flush' %s
", writePath); 
          exit(-1);
    }
   hdfsCloseFile(fs, writeFile);
}

公式サイト
See the Makefile for hdfs_test.c in the libhdfs source directory (${HADOOP_HOME}/src/c++/libhdfs/Makefile) or something like: gcc above_sample.c -I${HADOOP_HOME}/src/c++/libhdfs -L${HADOOP_HOME}/libhdfs -lhdfs -o above_sample
しかし、私は2つの方法を試してみました.だめです.後で発見しました.

LIB = -L$(HADOOP_INSTALL)/c++/Linux-i386-32/lib/
libjvm=/usr/lib/jvm/java-6-openjdk/jre/lib/i386/client/libjvm.so

だからmakefileに完全に:

HADOOP_INSTALL=/home/fzuir/hadoop-0.20.203.0
PLATFORM=Linux-i386-32
JAVA_HOME=/usr/lib/jvm/java-6-openjdk/
CPPFLAGS= -I$(HADOOP_INSTALL)/src/c++/libhdfs
LIB = -L$(HADOOP_INSTALL)/c++/Linux-i386-32/lib/
libjvm=/usr/lib/jvm/java-6-openjdk/jre/lib/i386/client/libjvm.so
LDFLAGS += -lhdfs

testHdfs: testHdfs.c
	gcc testHdfs.c  $(CPPFLAGS) $(LIB) $(LDFLAGS) $(libjvm) -o testHdfs

clean:
	rm testHdfs

はい、コンパイルはパスしましたが、実行中に次のエラーメッセージが表示されました.
1.
./testHdfs: error while loading shared libraries: xxx.so.0:cannot open shared object file: No such file or directory
解決方法:xxx.so.0のディレクトリを/etc/ldに追加します.so.confでは、/sbin/ldconfig–vでいいです.
2.
Exception in thread "main"java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration
...
Call to org.apache.hadoop.fs.Filesystem::get(URI, Configuration) failed! Exception in thread "main"java.lang.NullPointerException Call to get configuration object from filesystem failed!
解決方法、修正/etc/profile、相応のCLASSPATHを追加する:

HADOOP_HOME=/home/fzuir/hadoop-0.20.203.0
export PATH=$HADOOP_HOME/bin:$PATH
export CLASSPATH=.:$HADOOP_HOME/lib/commons-lang-2.4.jar:$HADOOP_HOME/hadoop-cor
e-1.0.1.jar:$HADOOP_HOME/lib/commons-logging-api-1.0.4.jar:$HADOOP_HOME/lib/comm
ons-configuration-1.6.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/contrib/stre
aming/hadoop-streaming-1.0.1.jar:$CLASSPATH

最後に、おめでとうございます.問題は解決しました.