[BigData] 整合 BeeGFS 到 K8S 生態系
雖然公有雲的服務例如 AWS, Azure, GCP 已經逐漸普及了，但是私有雲 HPC 的市場還是一直有相對的份額，不同於公有雲的儲存服務，在佈建私有雲的時候，儲存 (Storage) 的解決方案仍然是一個需要花費大量心力的議題，本篇紀錄如何將 HPC 儲存方案之一的 BeeGFS 掛載到 K8S 的生態系裡面。
詳細內容
Tag: Kubernetes
[Cloud] Mount NFS on Kubernetes (K8S)
前幾篇記錄了有關 K8S 與 Spark 的應用與一些 K8S 的常用指令，最近需要研究如何把 NFS 掛載上 K8S 裡面的 Pod，最主要的目的是要模擬出一個封閉的運算環境，在一個封閉的伺服器群集裡面，最好的分享檔案的方式就是利用像是 NAS 或是 NFS 等等的服務，本篇記錄一些在 Azure 環境裡面創造出 NFS 服務給 Kubernetes 使用遇到的一些挑戰與經驗。
詳細內容
[K8S] On-Demand Spark Cluster on AKS
最近在研究如何在 K8S 上面跑一個 On-Demand 的 Spark Cluster 服務，基本上有兩條路可以走，一條是利用 k8s 的 Deployment 來自建 Spark Cluster，另外一條路則是利用 Kubernetes 既有與 Spark 對接的介面 (這邊是利用 spark-submit) 來實作，概念上就是直接執行一個類似下方的指令，所以想要擁有一個 On-Demand Spark Cluster on AKS 這兩種方法個有什麼優劣？
詳細內容
[AKS] Azure Kubernetes Service 與常用指令
K8S 服務在業界已經是很常用的一個叢集管理技術了，在這邊記錄一些 K8S 的常用指令與利用 Azure Kubernetes 服務實作的一些輸出，關於 Kubernetes 的介紹可以參考以下的 Youtube 影片，讀文件很累的時候可以聽聽 IBM 的工程師是怎麼介紹 K8S。
詳細內容