Spark On Kubernetesテストタスクの発行

自分で仮想マシン上にkubernetesテストクラスタを構築し、Sparkの公式ドキュメントを通じて、kubernetesクラスタ上で実行するテストタスクを提出し、記録します.
1.コマンドの発行:
clusterモード:

$ bin/spark-submit \
    --master k8s://https://ip:port \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
    --conf spark.kubernetes.container.image.pullPolicy=Always \
    --conf spark.kubernetes.container.image=merrily01/repo:spark-2.4.3-image-merrily01 \
    local:///opt/spark/examples/jars/spark-examples_2.11-2.4.3.jar

Clientモード:

spark-submit \
--master k8s://https://172.16.192.128:6443 \
--deploy-mode client  \
--name spark-pi \
--class org.apache.spark.examples.SparkPi  \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
--conf spark.kubernetes.container.image.pullPolicy=Always \
--conf spark.kubernetes.container.image=merrily01/repo:spark-2.4.3-image-merrily01 \
/data0/spark/spark-2.4.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.3.jar

2.マスターのapi serverアドレスが分からない場合は、コマンド:kubectl config viewで表示できます.
3.cluster方式に注意する.JArパッケージの場所:local:///opt/spark/examples/jars/spark-examples_2.11-2.4.3.jar