[Hive] 在 Spark 存取自己的 Hive Metastore
擁有一個自己的 Hive Metastore 的好處是方便管理自己的資料，利用 Hive Metastore 可以把資料表與大數據平台上面的資料關連起來。Hive Metastore 可以部署在不同的資料庫上面，例如 MySQL 或是 Microsoft SQL Database。
詳細內容
Author: 檸檬爸
[Hive] Metastore in Azure Databricks
在開發 Spark 與 Deltalake 的應用的時候，需要建立很多的 Table 與 Database 等資源，這些 Table 的資源究竟是怎麼管理的？就是 Hive Metastore 的角色，我們在很自然使用 Spark SQL 的時候，是否真正了解背後發生了什麼事情？本篇我們紀錄如何在 Databricks 上面使用客製化的 Hive Metastore。
詳細內容
[Rapids] Enable GPU on Spark
最近在學習有關 Spark 跑在 GPU 上面的新技術 (Rapid) 本篇記錄一些有用的學習資源，最直接的就是看 Rapids 的 Github。但是直接看 Code 的缺點就是一下子太多資訊，所以如果能夠配合著一些概念性的影片介紹就能夠很快的了解 Rapids 的架構。
詳細內容
[租房] État des Lieux 的冷知識
本篇紀錄在法國租房很重要的一個環節 État des lieux，不論是從房東或是房客的角度出發，État des lieux 都是一個保護彼此權益很重要的一環，本篇主要參考 Bouygues Immobilier 的 État des lieux 系列文章，在大家已知 État des lieux 的基礎之上，特別強調幾個比較不常見的注意事項。
詳細內容
[Covid] PCR Test 在巴黎
檸檬爸在巴黎的事情處理得差不多之後，就是要準備回台灣的相關事宜，目前依照規定回台灣需要出示搭機前 48 小時內 Covid 的 PCR 陰性證明，所以檸檬爸也需要準備 PCR 的陰性證明，本篇介紹與紀錄在法國巴黎做 PCR 的過程與一些額外的資訊。
詳細內容
[租房] 法國打掃阿姨
經過一個多月的整理之後，我們終於要開始出租我們的房子了，由於是一間比較大的 4 pièces 所以廚房與客廳與其中一間浴室是共用的關係，我們決定要請一個打掃阿姨來幫忙打掃，我們先接觸的是一個大陸的阿姨楊姐，她會到府清掃然後是鐘點計費，一個小時 12 歐元的費用。
詳細內容
[買房] Préparer Votre Cuisine 法國裝修廚房
當預售屋準備交屋的前幾個月，就是要準備聯絡廚房設計廠商 (Cuisinistes) 提前討論設計與預訂自己想要的廚房，一方面是可以利用 Prelivraison 的機會到現場去看，另外一方面在交屋之後也可以盡快將廚房準備好，為了迎接即將到來的房子，檸檬爸與檸檬媽也開始緊鑼密鼓地準備安裝廚房的事情，本篇記錄在法國客製化廚房的過程與一些細節。
詳細內容
[買房] Livraison, Remise des Clés 紀錄
很快的檸檬爸媽在法國購買的房子就要進入最後一個階段 Livraison (Remise des Clé) 也就是法國的交屋，基本上建商 Promoteur 會寄一封 Convocation 給你約定交屋的日期與地點，雙方確認完之後就是要事前準備了，本篇記錄一下交屋的事前與事後的準備。
詳細內容
[Spark] 常見錯誤 NoSuchMethodError/ClassNotFound
檸檬爸在開發 Spark, Java, Scala 程式的時候很常遇到 NoSuchMethodError/ClassNotFound 這兩個錯誤，通常出現這兩個錯誤訊息的時候，主要原因是因為 Java Package 的 Dependency Conflict，在開發 Spark 的應用的時候究竟要怎麽去處理會比較好？本篇想要紀錄幾個常用的解法，包含Java 指令, JD-GUI 與 Maven Dependency:Tree 的介紹。
詳細內容
[Cloud] Mount NFS on Kubernetes (K8S)
前幾篇記錄了有關 K8S 與 Spark 的應用與一些 K8S 的常用指令，最近需要研究如何把 NFS 掛載上 K8S 裡面的 Pod，最主要的目的是要模擬出一個封閉的運算環境，在一個封閉的伺服器群集裡面，最好的分享檔案的方式就是利用像是 NAS 或是 NFS 等等的服務，本篇記錄一些在 Azure 環境裡面創造出 NFS 服務給 Kubernetes 使用遇到的一些挑戰與經驗。
詳細內容