Category: IT Technology

[Cloud] Mount NFS on Kubernetes (K8S)

Posted on by

前幾篇記錄了有關 K8S 與 Spark 的應用與一些 K8S 的常用指令，最近需要研究如何把 NFS 掛載上 K8S 裡面的 Pod，最主要的目的是要模擬出一個封閉的運算環境，在一個封閉的伺服器群集裡面，最好的分享檔案的方式就是利用像是 NAS 或是 NFS 等等的服務，本篇記錄一些在 Azure 環境裡面創造出 NFS 服務給 Kubernetes 使用遇到的一些挑戰與經驗。

詳細內容

[Django] SynchronousOnlyOperation 解決方法

Posted on by

在使用 Django Rest Framework 開發的時候出現 SynchronousOnlyOperation 的錯誤，本篇展示一個範例紀錄筆者使用 sync_to_async 的解決方法，一開始看 sync_to_async 說明的時候並不好理解要怎麼使用，參考範例可以比較容易了解，關於 django 的一些基本介紹可以參考 [Django] 用 Python 寫網頁？

詳細內容

[K8S] On-Demand Spark Cluster on AKS

Posted on by

最近在研究如何在 K8S 上面跑一個 On-Demand 的 Spark Cluster 服務，基本上有兩條路可以走，一條是利用 k8s 的 Deployment 來自建 Spark Cluster，另外一條路則是利用 Kubernetes 既有與 Spark 對接的介面 (這邊是利用 spark-submit) 來實作，概念上就是直接執行一個類似下方的指令，所以想要擁有一個 On-Demand Spark Cluster on AKS 這兩種方法個有什麼優劣？

詳細內容

[開發] 建立自己的 Nexus Repository

Posted on by

🍋 爸在法國擔任資料工程師的時候，頻繁地使用過 Nexus 這個資源庫倉儲系統，那時候使用 Nexus 主要的原因是因為在一間大公司裡面，常常各個部門之間的專案是互相依賴的，此時為了建置 CICD 的管理機制，他們會導入 Nexus 這樣的系統來分享自己編譯好的 Jar 檔(如果是 Java, Scala 的開發環境)，所有使用過 Maven 編譯的開發者應該會 nexus 也不陌生，很多著名的專案都是利用 Nexus 這樣的系統在分享他們的開源程式，例如 Apache Spark 等等，那時候🍋 爸主要是使用為主，本篇要介紹如何部署屬於自己的 Nexus Repository ? 

詳細內容

[Spark] 建置自己的 Spark History Server

Posted on by

進入大數據的世界，基本上脫離不了使用 Spark 這個平行運算的框架，把問題拆小之後，利用螞蟻雄兵的力量可以更容易解決問題，這也是離散數學裡面提到的 Divide and Conquer 的概念，檸檬爸之前有寫過一些介紹 Spark 的文章，也有介紹如何在 Azure 的雲端平台裡面去開啟 On Demand 的 Spark Cluster。本篇要來介紹在運行 Spark Cluster 的時候一定不要忘記要開的 Spark History Server，本篇參考 aztk 的程式碼與 Spark 3.0.1 關於 Monitoring 的網頁，介紹怎麼使用 Spark History Server 。

詳細內容