[K8S] On-Demand Spark Cluster on AKS

最近在研究如何在 K8S 上面跑一個 On-Demand 的 Spark Cluster 服務,基本上有兩條路可以走,一條是利用 k8s 的 Deployment 來自建 Spark Cluster,另外一條路則是利用 Kubernetes 既有與 Spark 對接的介面 (這邊是利用 spark-submit) 來實作,概念上就是直接執行一個類似下方的指令,所以想要擁有一個 On-Demand Spark Cluster on AKS 這兩種方法個有什麼優劣?

詳細內容

[買房] Visite Cloison 探訪分區監工

在前一篇筆者介紹有關法國預售屋的購買時程,有提到交屋前六至九個月的 Visite Cloison,Visite Cloison 筆者嘗試翻譯成探訪分區監工,雖然 Cloison 有隔間的意思在裡面,但是法文解釋的 Visite Cloison 為 Une Visite de Chantier qui vous permit de vérifier la conformité de travaux,所以其本質就是讓你到工地裡去監工,本篇參考 SeLoger Neuf 的網站關於 Visite Cloison 工地監工的介紹來講解一下買房時 Visite Cloison 探訪分區監工的一些注意事項。

詳細內容

[開發] 建立自己的 Nexus Repository

🍋 爸在法國擔任資料工程師的時候,頻繁地使用過 Nexus 這個資源庫倉儲系統,那時候使用 Nexus 主要的原因是因為在一間大公司裡面,常常各個部門之間的專案是互相依賴的,此時為了建置 CICD 的管理機制,他們會導入 Nexus 這樣的系統來分享自己編譯好的 Jar 檔(如果是 Java, Scala 的開發環境),所有使用過 Maven 編譯的開發者應該會 nexus 也不陌生,很多著名的專案都是利用 Nexus 這樣的系統在分享他們的開源程式,例如 Apache Spark 等等,那時候🍋 爸主要是使用為主,本篇要介紹如何部署屬於自己的 Nexus Repository ? 

詳細內容