[K8S] On-Demand Spark Cluster on AKS

最近在研究如何在 K8S 上面跑一個 On-Demand 的 Spark Cluster 服務,基本上有兩條路可以走,一條是利用 k8s 的 Deployment 來自建 Spark Cluster,另外一條路則是利用 Kubernetes 既有與 Spark 對接的介面 (這邊是利用 spark-submit) 來實作,概念上就是直接執行一個類似下方的指令,所以想要擁有一個 On-Demand Spark Cluster on AKS 這兩種方法個有什麼優劣?

詳細內容

[買房] Visite Cloison 探訪分區監工

在前一篇筆者介紹有關法國預售屋的購買時程,有提到交屋前六至九個月的 Visite Cloison,Visite Cloison 筆者嘗試翻譯成探訪分區監工,雖然 Cloison 有隔間的意思在裡面,但是法文解釋的 Visite Cloison 為 Une Visite de Chantier qui vous permit de vérifier la conformité de travaux,所以其本質就是讓你到工地裡去監工,本篇參考 SeLoger Neuf 的網站關於 Visite Cloison 工地監工的介紹來講解一下買房時 Visite Cloison 探訪分區監工的一些注意事項。

詳細內容

[開發] 建立自己的 Nexus Repository

🍋 爸在法國擔任資料工程師的時候,頻繁地使用過 Nexus 這個資源庫倉儲系統,那時候使用 Nexus 主要的原因是因為在一間大公司裡面,常常各個部門之間的專案是互相依賴的,此時為了建置 CICD 的管理機制,他們會導入 Nexus 這樣的系統來分享自己編譯好的 Jar 檔(如果是 Java, Scala 的開發環境),所有使用過 Maven 編譯的開發者應該會 nexus 也不陌生,很多著名的專案都是利用 Nexus 這樣的系統在分享他們的開源程式,例如 Apache Spark 等等,那時候🍋 爸主要是使用為主,本篇要介紹如何部署屬於自己的 Nexus Repository ? 

詳細內容

[好書分享] 爸爸的蝴蝶結

這是一本讓人一打開就想要一直看下去的書。檸檬媽在 Hyread 隨身圖書館上搜尋下ㄧ本要看的書時,看到這本「爸爸的蝴蝶結」,書名不太吸引人,但沒想到光在試閱內容時就停不下來,馬上借閱來看,在看的過程中也數度流下眼淚(真的不誇張!雖然檸檬媽也是個愛哭鬼啦~)

詳細內容

[好書分享] 說給兒童的臺灣歷史(三)

在國外住過的大家,想必都會遇到當地人詢問「臺灣在哪裡?」、「臺灣的特色是什麼?」、「臺灣的歷史是什麼呢?」,像檸檬媽就常常被問這方面的問題。當你粗略地瞭解臺灣歷史後,就可以在出國或國外生活時,和遇到的人暢所欲言,好好的介紹臺灣呢(不用怕沒話題XD)!這也是檸檬媽興起要寫介紹臺灣歷史心得文的緣由。

詳細內容