フィールドメンテナンスサポート(2)
1476 ワード
mysql問題 mysql datetimeサポートされていない値0000-00-00 00 00:00 hiveデータをmysqlデータにロードしてエラーを報告し、0000を挿入できません...date値とは、mysqlが0000をdatetimeとする値をサポートしないためである.テーブルまたはデータでdatetimeのデフォルト値を0000に設定しないでください.の形式 mysql queryデフォルトでは、fetchのすべてのデータがメモリ内の本番環境のデータ量に非常に大きい場合、OutOfMemoryError.解決策はmysqlがすべてではなくblockのデータを1つずつ取得するように設定します. hadoopジョブエラージョブ名またはidに基づいて対応するジョブを見つけるyarn RM対応のウェブアドレスを開き、ジョブ名に基づいて対応するジョブを検索する.ジョブはrunning状態でRM webでjob状態を表示でき、mr job実行終了ログはjobhistory serverに収集される. ジョブの特定の構成を表示jobhistoryインタフェースでjobの特定の構成を表示します.左側のサイドバーjobのconfigurationリンクをクリックすると、hadoop関連構成パラメータやユーザー自身が構成したパラメータなど、jobの具体的なパラメータ構成を表示できます.ここでsource chainの欄には、パラメータのソースがプロファイルから来たのか、プログラムで設定されたのか(programatically)が示されています. countersにはjobレベルのcountersとtaskレベルのcountersがあります.countersは複数のグループに分けられ、デフォルトの統計グループがあり、ユーザーがカスタマイズしたグループも見られる.countersの統計を見ることで、読み込んだデータ量、読み込んだ記録数、taskの実行時間などを確認することができ、作業の実行結果が合理的かどうかをマクロ的に判断するのに役立つ. ログを表示するときに必ずview full logが表示を開始しなければならないログの一部は実際のエラーではない可能性があります.必ずreview full logがエラーを表示しなければなりません.
ログについてとても良い文章を見ました.https://discuss.pivotal.io/hc/en-us/articles/201925118-How-to-Find-and-Review-Logs-for-Yarn-MapReduce-Jobs
hadoop1 to hadoop2 drawbacks and improve http://stackoverflow.com/questions/12992743/what-additional-benefit-does-yarn-bring-to-the-existing-map-reduce/35479769#354797694つの側面は、scalable、avalability、resource utilization、multiple job types supportです.
stmt.setFetchSize(num);
ログについてとても良い文章を見ました.https://discuss.pivotal.io/hc/en-us/articles/201925118-How-to-Find-and-Review-Logs-for-Yarn-MapReduce-Jobs
hadoop1 to hadoop2 drawbacks and improve http://stackoverflow.com/questions/12992743/what-additional-benefit-does-yarn-bring-to-the-existing-map-reduce/35479769#354797694つの側面は、scalable、avalability、resource utilization、multiple job types supportです.