GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

AI 要約

MetaはInstagramとFacebookの広告推薦を担う基盤モデル「GEM（Generative Ads Recommendation Model）」のトレーニング効率を2倍に改善し、Model FLOPs Utilization（MFU）を20〜25%に向上させつつ、トレーニングFLOPsを4倍にスケールアップすることに成功した。数千台の最新世代GPUを活用したLLMスケールでの学習を実現しており、広告推薦システムの性能向上につながる重要な技術的進歩である。この成果はMetaの広告プラットフォームに依存する広告主やユーザー体験に直接影響を与える可能性がある。