scala作成sparkエラーjava.lang.ArrayIndexOutOfBoundsException: 10582

現在の環境:jdk 1.8+scala2.12+spark2.4

 
            org.apache.spark
            spark-core_2.12
            2.4.0
 

複数回の実行で、RDDレポートの作成エラーが検出されました.

val rdd1 = sc.textFile("C:\\Users\\Administrator\\Desktop\\test.txt")

別の方法でRDDを作成し、エラーを報告します.

sc.parallelize(List(1,2,3,4,5,6))

....... 実はjdk 1のためです.8のparanamerバージョンの問題です.ソリューション:mavenはパッケージを1つ多く参照すればよい.

       
            com.thoughtworks.paranamer
            paranamer
            2.8