[Rapids] Enable GPU on Spark

Posted on by
Post Views: 2,968

最近在學習有關 Spark 跑在 GPU 上面的新技術 (Rapid) 本篇記錄一些有用的學習資源，最直接的就是看 Rapids 的 Github https://github.com/NVIDIA/spark-rapids.git 。但是直接看 Code 的缺點就是一下子太多資訊，所以如果能夠配合著一些概念性的影片介紹就能夠很快的了解 Rapids 的架構。

Deep Dive into GPU Support in Apache Spark 3.0
Speed up UDFs with GPUs using the RAPIDS Accelerator
Nvidia 相關學習資源 (需要登入 Nvidia 帳號)

Running Large-Scale ETL Benchmarks with GPU-Accelerated Apache Spark
https://www.nvidia.com/en-us/on-demand/session/gtcspring21-s31846/

Accelerating Apache Spark Shuffle with UCX
https://www.nvidia.com/en-us/on-demand/session/gtcspring21-s31822/setFocus/

Spark Rapids with XGBoost

https://github.com/NVIDIA/spark-rapids-examples