Deep dive: How Lightning Engine delivers 4.9x faster Apache Spark performance

AI 要約

GoogleがManaged Service for Apache Spark向け「Lightning Engine」の一般提供を開始した。オープンソースSparkと比較して最大4.9倍の高速化と、主要競合比2倍の価格性能比を実現する。JVMのオーバーヘッドをC++/SIMDネイティブ実行（GlutenとVeloxベース）で回避し、100万以上の実ワークロードで検証済み。サーバーレス・マネージドクラスター両方で利用可能で、既存パイプラインの変更不要なため、Spark利用企業に即座の影響がある。