内蔵型アルゴリズムのためのパイプ入力モードについて紹介します。パイプ入力モードを使い、データセットが最初にダウンロードされるのではなく、トレーニングインスタンスに直接ストリーミングされます。これは、トレーニングジョブが直ぐに始まり、早く完了し、必要なディスク容量も少なくて済むという意味です。SageMakerのアルゴリズムは、高速で拡張性が高くなるように設計されています。このブログ記事では、パイプ入力モード、それがもたらす利点、トレーニングジョブにおいてそれをどのように活用できるかについて説明しています。なしで実行中にアルゴリズムコンテナに送られます。このアプローチは、長くかかるダウンロードの処理を短縮し、起動時間を大きく短縮します。それによって通常ならファイル入力モードより読込スループットも良くなります。ボリュームサイズ制限よりもずっと大きいデータセットをトレーニングできます。パイプモードによって以下のことが可能になります。データがトレーニングインスタンスにダウンロードされるのではなく、ストリーミングされるため、起動時間がより短くなります。実質的に無制限のデータ処理能力。アルゴリズムでファイル入力モードまたはパイプ入力モードを活用できます。大きなデータセットにはパイプモードが推奨されているとはいえ、メモリ内に収まる小さなファイルやアルゴリズムのエポック数が多い場合であっても、ファイルモードは有効です。現在、どちらのモードでもトレーニングジョブの小さい実験から、ペタバイト規模の分散型のトレーニングジョブに至るまでさまざまな使用範囲をカバーしています。フォーマットを使えば最適に動作します。フォーマット用のパイプモードのみがサポートされています。エンコードされたデータセットで使用した場合に、パイプ入力モードをサポートします。アルゴリズムを使用してジョブを実行しました。使用して、元のデータセットをプロトコルバッファーrecordIO形式に変換しました。S3パスにアップロードし、トレーニングインスタンスにアクセスできるようにしました。以下に続く最初のベンチマークは、PCAアルゴリズムを使ってパイプモードとファイルモードを比較します。両方のジョブは、全く同一のハイパーパラメータのセットで実行されます。パイプモードでは、ほとんどの実験で起動時間が11.5分から1.5分に大幅に短縮されています。スループット全体では、ファイルモードのスループットの少なくとも2倍です。これらの改善によって、トレーニングの合計時間がが最大で35%削減されました。計算量はずっと多く、パラメータサーバー通信に高いネットワーク帯域幅が必要です。つのエポックのトレーニングジョブを実行しました。この場合も予想通り、パイプモードの起動時間はファイルモードの起動時間よりもずっと早い結果になりました。スループットはファイルモードよりまだ高速です。比べて劇的とまでいきませんが、それでも重要です。ボリュームしか使用しませんでした。PCAとK-Meansモデルはこの10GBよりかなり小さいですが、場合によってはより複雑なモデル(特にチェックポイントを持つモデル)を上回る可能性があります。コンソールトレーニングジョブにおいてパイプモードのメリットを生かすのはとても簡単です。使用すると、トレーニングや推論のジョブをプログラムで簡単に実行できます。トレーニングジョブを送信します。パラメータの値を変更するだけであることに注意しましょう。使用して、パイプモードでトレーニングジョブを開始できます。ジョブを送信する方法を理解できます。「Pipe」に設定するだけで変更できます。アルゴリズムを使用してトレーニングジョブをかつてないほど高速で実行できるようになりました。既存のアルゴリズムと途切れなく統合され、データセットの格納方法を変更する必要はありません。トレーニングジョブのための入力モードとして「Pipe」を指定するだけで、現在のパイプモードの利用を開始できます。アルゴリズムチームのソフトウェア開発エンジニアで、高性能コンピューターの活用を専門にしています。休みの時は、彼は自作のGPUクラスターで遊ぶのが大好きです。ためイノベーティブで大いに拡張的なトレーニングプラットフォームを構築する作業が大好きです。両方のチームの立ち上げチームの一員でした。データサイエンスチームと製品管理を統率してきた経歴があります。がい、年齢、その他の属性によって差別することなく、平等に採用選考の機会を提供しています。