Reduce inference cold starts on Amazon SageMaker HyperPod with model caching

AI 要約

Amazon SageMaker HyperPodが推論向けモデルキャッシング機能をサポートし、モデルの重みとコンテナイメージをクラスターノードのローカルNVMeストレージに事前ロードできるようになった。これにより、ネットワーク経由のダウンロードが不要となり、コールドスタート時間が数十分から数秒に大幅短縮される。MLモデルのデプロイや推論ワークロードを扱う開発者・企業にとって、起動レイテンシの削減とコスト効率の向上が期待できる重要なアップデートだ。