[BigData] Troubleshooting BeeGFS Deployment
在上一篇介紹了 BeeGFS 如何與 k8s 的機器做對接，本篇希望能夠分享與紀錄檸檬爸在實際安裝 BeeGFS 到地端 k8s 叢集的時候，遇到的很多問題，以下是關於這些問題的 TroubleShooting 與一些 BeeGFS 工具的實用整理，由於 BeeGFS 是一個博大精深，筆者也是持續在學習中。
詳細內容
Category: Big Data & Machine Learning
[GCP] Spark Hadoop Access with Requester Pays
在生醫領域有很多開放資料都是存在 Google Cloud Platform (GCP)，有時候要避免大量複製檔案，我們會想要直接使用 gs:// 開頭的開放資料當作 Spark Table 的後端路徑，與 AWS 與 Azure 不同的是 GCP Dataproc 提供了一個使用者付費的方式，顧名思義就是資料的傳輸費用是由使用者去支付的，本篇紀錄如何設定 Spark Cluster 的設定檔透過 Spark SQL 的方式直接使用公開的資料，減少複製檔案與儲存帶來的成本。
詳細內容
在 K8S 上簡單實現 Nvidia GPU Time-Slicing
Nvidia 的 GPU 目前是市場上使用的主流，在雲的世界裡面，由於大部分的使用場景是按需 (On Demand)，因此 K8S 慢慢地也是雲端管理資源的一個利器，如何在 Kubernetes 上調用 GPU 的資源相對地也越來越普遍，本篇整理了目前網路上可以看到 Nvidia GPU 於操作方法，並且介紹一種簡單實現 GPU Time-Slicing 的設定。
詳細內容
[BigData] PySpark on Jupyter Lab
Jupyter Notebook/Lab 是一個常用的互動式介面協助各種程式碼的開發我們在上一篇『建立自己的 Jupyter Notebook 伺服器』有稍微介紹過，一般常見的使用場景是在開發 python 的程式，但是 Jupyter Server 的 Kernel 功能可以擴充更多的互動式開發環境，例如 R, PySpark, SparkR, SparklyR 等等，檸檬爸最早接觸的是將 PySpark 註冊到 Jupyter Lab 裡面，實作的程式碼是透過 AZTK 的 Repository 學習到的，後來進一步將其擴充到 R 等等的使用場景，本篇將會呈現如何部署一個有 PySpark 核心的 Jupyter Lab。
詳細內容
[BigData] 整合 BeeGFS 到 K8S 生態系
雖然公有雲的服務例如 AWS, Azure, GCP 已經逐漸普及了，但是私有雲 HPC 的市場還是一直有相對的份額，不同於公有雲的儲存服務，在佈建私有雲的時候，儲存 (Storage) 的解決方案仍然是一個需要花費大量心力的議題，本篇紀錄如何將 HPC 儲存方案之一的 BeeGFS 掛載到 K8S 的生態系裡面。
詳細內容
[GPU] Native Rapids UDF – Create Custom UDF
在上一篇我們成功實作了 HiveUDF，為了要進一步利用 GPU 加速，我們需要去實作 evaluateColumnar 這一個函數，參考 Spark Rapids 的 Github 與 ColumnView 裡面的範例，針對我們想做到的 UDF 我們沒有發現適合的函數去實作針對一個 Array[String] 的過濾程式，所以我們需要自己去實作 Tutorial 裡面所謂的 Native Code Examples，Tutorial 裡面針對 HiveUDF 只有提供一個範例是 StringWordCount，本篇我們紀錄藉由這個範例去實作一個支援 GPU 的 HiveUDF。
詳細內容
[Spark] Define and Register Hive UDF with Spark Rapids
在上一篇我們介紹如何透過 Spark Rapids 去利用 GPU 加速執行 SQL，我們遇到了幾個問題並一一解決，最後我們成功在 Spark Thrift Server 上面啟動了 Spark Rapids 的功能，並且使用 pyHive 將 SQL 的 Request 送進 Spark Cluster 裡面，為了要更進一步完全使用 GPU 的資源，在執行 SQL command 的時候如果遇到沒有支援 Spark Rapids 的 UDF (User-Defined Function) 的時候，會拖慢整體的速度，讓使用 GPU 的效果沒有發揮出來，因此本篇想要紀錄如何實作並定義一個 Hive UDF。
詳細內容
[微軟認證] Microsoft Certification DP-100
檸檬爸在考完 Microsoft AZ-104 之後，又有新的需求針對的是 Microsoft DP-100，這個為想要成為 Azure Data Scientist 的人設計的，與 AZ-104 考試相同，微軟有提供免費的教材，如果有需要進一步的教學也有相對應的課程可以購買。
詳細內容
[Rapids] Support Spark SQL with Spark Rapids
Spark SQL 是很多公司提供給商業智慧 BI (Business Intelligence) 的大數據介面，
爸在介紹完 Spark Thrift Server 之後，使用者可以透過 Spark SQL 對自己的資料做操作，Spark SQL 的好處是可以很容易去滿足使用者的需求，但是往往容易遇到因為使用者執行複雜 Query 導致的效能低落，本篇想要透過導入 Spark Rapids 配合 Spark Thrift Server 引入 GPU 的資源看看是否能夠加速 Spark SQL 的運算效率？
[Hive] Index part #0 for `ROLES` already set
檸檬爸在前面幾篇介紹了有關 Hive Metastore, Hive on Spark 和 Spark Thrift Server 等等的觀念，本篇想要紀錄一個花了不少時間的除錯過程，錯誤發生的環境是在 Spark Standalone 的叢集上啟動的 Spark Thrift Server 嘗試去連接在 MySQL 上的 Hive Metastore，成功使用一段時間之後會時不時地遇到這個 Bug，後來的解決方法是重新創建 MySQL 的使用者。
詳細內容