Spark UDFユーザー定義関数

3945 ワード

Spark UDF

クエリー文字列の長さを実現する関数をカスタマイズします.まず、テストのDataFrameを作成します.

	val spark = SparkSession.builder().master("local").appName("UDF").getOrCreate()
    val nameList: List[String] = List[String]("zhangsan", "lisi", "wangwu", "zhaoliu", "tianqi")
    import spark.implicits._
    val nameDF: DataFrame = nameList.toDF("name")
    nameDF.createOrReplaceTempView("students")

関数名とパラメータタイプを含む関数を登録します.

spark.udf.register("STRLEN",(name:String)=>{
     
      name.length
    })
//    spark.udf.register("STRLEN",(name:String,i:Int)=>{
     
//      name.length+i
//    })

カスタム関数を使用するには:

spark.sql("select name ,STRLEN(name) as length from students order by length desc").show(100)
//    spark.sql("select name ,STRLEN(name,10) as length from students order by length desc").show(100)

02データセット取得および処理(iris)

MS面接問題のテスト