【菜鳥シリーズ】spark常用演算子まとめ(scala、java)--map,flatMap,flatMapToPair

map,flatMap,flatMapToPairは最もよく使われる演算子であり、map演算子の入力と出力は一対一であり、すなわち、子RDDのパーティションと親RDDのパーティションとの一対一の関係である.flatMapはフラットで、入力と出力は一対多の関係です.注意すべきは、scalaバージョンのmapはRDDをPairRDDに変換することができるが、javaバージョンでは、この機能はmapToPair関数によって実現され、PairFunction関数を実現する必要がある.scalaバージョンにはflatMapToPair関数はなく、まずflatMap、mapで実現されています.JAvaバージョンのflatMapToPairは、PairFlatMapFunction関数を実装する必要があります.JAvaバージョンのflatMapはFlatMapFunctionを実装しています
scala mapサンプル

val conf = new SparkConf().setAppName("jiangtao_demo").setMaster("local")
  val sc = new SparkContext(conf)
  val data = sc.makeRDD(List("pandas pip","numpy","pip","pip","pip"))
  //map       ，scala map     rdd  pairrdd，java     ，map mapToPair
  val rdd1 = data.map((_,1))

flatMapサンプル

  val conf = new SparkConf().setAppName("jiangtao_demo").setMaster("local")
  val sc = new SparkContext(conf)
  val data = sc.makeRDD(List("pandas pip","numpy","pip","pip","pip"))
  //flatMap      ，        ，        6   
  val rdd2 = data.flatMap(_.split(" "))

wordcount

sc.textFile("hdfs://bjdx_clusters/test").flatMap(_.split(" ")).map((_+_)).reduceByKey(_+_)

=====================================================

SparkConf conf = new SparkConf().setAppName("jiangtao_demo").setMaster("local");
        JavaSparkContext jsc = new JavaSparkContext(conf);
        //      JavaRDD
        JavaRDD lines = jsc.parallelize(Arrays.asList("pandas pip","numpy","pip","pip","pip"));
        //map     newTail   
        JavaRDD<String> mapResult = lines.map(new Function<String,String>() {
            @Override
            public String call(String o) throws Exception {
                return o.concat("newTail");
            }
        });

        //map          ，     
        JavaRDDString,Integer>>> maprdd = lines.map(new Function<String,IterableString,Integer>>>(){
            public IterableString,Integer>> call(String line) throws Exception{
                String[] fields = line.split(" ");
                ArrayListString,Integer>> al = new ArrayListString,Integer>>();
                for(int i=0; inew Tuple2(fields[i],1));
                }
                return al;
            }
        });

//map          
        //   ：[[(pandas,1), (pip,1)], [(numpy,1)], [(pip,1)], [(pip,1)], [(pip,1)]]
        JavaRDDString,Integer>>> maprdd = lines.map(new Function<String,IterableString,Integer>>>(){
            public IterableString,Integer>> call(String line) throws Exception{
                String[] fields = line.split(" ");
                ArrayListString,Integer>> al = new ArrayListString,Integer>>();
                for(int i=0; inew Tuple2(fields[i],1));
                }
                return al;
            }
        });

flatMapは入力と一対多の関係であり,反復可能なlistを返す.

JavaRDD<String> flatMapResult = lines.flatMap(new FlatMapFunction<String,String>() {
            @Override
            public Iterable<String> call(String line) throws Exception {
                return Arrays.asList(line.toString().split(" "));
            }
        });

flatMapToPair注意戻り値、戻りはlist、中にtuple 2が封入されています

JavaPairRDD<String,Integer> result1 = lines.flatMapToPair(new PairFlatMapFunction<String,String,Integer>(){
            @Override
            public IterableString,Integer>> call(String line) throws Exception {
                String[] fields = line.split(" ");
                ArrayListString,Integer>> al = new ArrayListString,Integer>>();
                for(int i=0; inew Tuple2<String,Integer>(fields[i],1));
                }
                return al;
            }
        });

後続は更に多くの常用演算子を補充することができて、注目して下さい、この文のオリジナル、転載は出典を明記してください