SPMDのメモリ制約とMesh-TensorFlowを用いたModel-Parallel処理の実装 投稿日: 2023-09-162023-09-16 投稿者: lib-arts DeepLearningにおける分散処理ではSPMDに基づいてバッチ分割を行うことが多い一方で、大規模モデルを取り扱うにあたってはメモリの制約などの課題があります。当記事では上記の解決にあたって用いられるModel-Pa… 全文を読む