SageMaker Training Toolkit - ENVIRONMENT_VARIABLES.md 日本語版

30202 ワード

Amazon SageMaker 使っていますか?

SageMaker のメイン機能のひとつである SageMaker Training Job では、バッチ的にサーバーインスタンスを起動し、指定のコンテナ上で任意のスクリプトを実行することができます。

SageMaker Python SDK の Estimator クラスをセットアップして .fit メソッド(もしくは直接 CreateTrainingJob API)を呼んであげれば使えます。

この時、SageMaker Python SDK \leftrightarrow 実行する (主に Python) スクリプト \leftrightarrow コンテナ、の間で連携する情報(どこにデータを置いて、どのハイパーパラメータをセットして、どこにモデルファイルを吐き出すか、など)はコンテナ上で 環境変数 として展開されます。

SageMaker のビルトインコンテナ (TensorFlow / PyTorch / MXNet / HuggingFace / Scikit-Learn など) は SageMaker Training Toolkit というライブラリをベースに構築されてます。