spark streamingエラーコレクション

質問1:No output streams registered,so nothing to execute
解決要因:DStreamをトリガーするために必要なaciton解決方法がありません.次のいずれかの方法でトリガーします.

print() foreachRDD() saveAsObjectFiles() saveAsTextFiles() saveAsHadoopFiles()

問題2:プログラムが一定時間実行するorg.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for/hbase/hbaseid
この問題の応用背景はstreamingを用いてkafkaデータを受け入れ,データ処理後にhbaseデータベースに格納することである.プログラムが実行されてから約2日後にこの異常が投げ出されます.これはzookeeperの問題で、zookeeperのログを見て発見したのは、最大接続数を超えてzookeeperのzooを設定したためだ.cfgファイルで問題を解決できます.

# increase this if you need to handle more clients
#   60
maxClientCnxns=600

質問3:java.io.FileNotFoundException:(Too many open files)
linxuシステムの下でユーザーごとに同時にファイルを開く個数には制限があります:表示

ulimit -n
1024 

システムはユーザーごとに最大1024個のデフォルト数を設定しています.次に、この数を変更します.

1.  /etc/security/limits.conf
2.      ：
  * - nofile 10240

shellをリリースして再ログインし、ulimit-nを再表示します.プロセスが再実行された場合は、プロセスを再起動する必要があります.
問題4:executorが殺された(YARN環境下):ERROR executor.CoarseGrainedExecutorBackend:RECEIVED SIGNAL 15:SIGTERM
殺されるのはcontainer off heapメモリがメモリ制限を超えているためで、off headとは非スタックメモリであり、一般的にvm自体が消費され、デフォルトはexecutorメモリの10%であり、以下の2つのパラメータを適切に大きくします.

spark.yarn.driver.memoryOverhead
spark.yarn.executor.memoryOverhead

パラメータの説明:http://spark.apache.org/docs/latest/running-on-yarn.html