[Rapids] Enable GPU on Spark
最近在學習有關 Spark 跑在 GPU 上面的新技術 (Rapid) 本篇記錄一些有用的學習資源,最直接的就是看 Rapids 的 Github。但是直接看 Code 的缺點就是一下子太多資訊,所以如果能夠配合著一些概念性的影片介紹就能夠很快的了解 Rapids 的架構。
詳細內容想方涉法, France, Taiwan, Health, Information Technology
最近在學習有關 Spark 跑在 GPU 上面的新技術 (Rapid) 本篇記錄一些有用的學習資源,最直接的就是看 Rapids 的 Github。但是直接看 Code 的缺點就是一下子太多資訊,所以如果能夠配合著一些概念性的影片介紹就能夠很快的了解 Rapids 的架構。
詳細內容本篇紀錄在法國租房很重要的一個環節 État des lieux,不論是從房東或是房客的角度出發,État des lieux 都是一個保護彼此權益很重要的一環,本篇主要參考 Bouygues Immobilier 的 État des lieux 系列文章,在大家已知 État des lieux 的基礎之上,特別強調幾個比較不常見的注意事項。
詳細內容檸檬爸在巴黎的事情處理得差不多之後,就是要準備回台灣的相關事宜,目前依照規定回台灣需要出示搭機前 48 小時內 Covid 的 PCR 陰性證明,所以檸檬爸也需要準備 PCR 的陰性證明,本篇介紹與紀錄在法國巴黎做 PCR 的過程與一些額外的資訊。
詳細內容經過一個多月的整理之後,我們終於要開始出租我們的房子了,由於是一間比較大的 4 pièces 所以廚房與客廳與其中一間浴室是共用的關係,我們決定要請一個打掃阿姨來幫忙打掃,我們先接觸的是一個大陸的阿姨楊姐,她會到府清掃然後是鐘點計費,一個小時 12 歐元的費用。
詳細內容當預售屋準備交屋的前幾個月,就是要準備聯絡廚房設計廠商 (Cuisinistes) 提前討論設計與預訂自己想要的廚房,一方面是可以利用 Prelivraison 的機會到現場去看,另外一方面在交屋之後也可以盡快將廚房準備好,為了迎接即將到來的房子,檸檬爸與檸檬媽也開始緊鑼密鼓地準備安裝廚房的事情,本篇記錄在法國客製化廚房的過程與一些細節。
詳細內容很快的檸檬爸媽在法國購買的房子就要進入最後一個階段 Livraison (Remise des Clé) 也就是法國的交屋,基本上建商 Promoteur 會寄一封 Convocation 給你約定交屋的日期與地點,雙方確認完之後就是要事前準備了,本篇記錄一下交屋的事前與事後的準備。
詳細內容檸檬爸在開發 Spark, Java, Scala 程式的時候很常遇到 NoSuchMethodError/ClassNotFound 這兩個錯誤,通常出現這兩個錯誤訊息的時候,主要原因是因為 Java Package 的 Dependency Conflict,在開發 Spark 的應用的時候究竟要怎麽去處理會比較好?本篇想要紀錄幾個常用的解法,包含Java 指令, JD-GUI 與 Maven Dependency:Tree 的介紹。
詳細內容前幾篇記錄了有關 K8S 與 Spark 的應用與一些 K8S 的常用指令,最近需要研究如何把 NFS 掛載上 K8S 裡面的 Pod,最主要的目的是要模擬出一個封閉的運算環境,在一個封閉的伺服器群集裡面,最好的分享檔案的方式就是利用像是 NAS 或是 NFS 等等的服務,本篇記錄一些在 Azure 環境裡面創造出 NFS 服務給 Kubernetes 使用遇到的一些挑戰與經驗。
詳細內容由於最近需要通過 Microsoft Azure 的認證,所以持續更新這一篇文章記錄一下自己通過 Azure 認證的一些資料,可以到微軟的官網上面查詢目前擁有的認證列表。本篇記錄一下 Data Engineer Associate 與 Solution Architect Expert 這兩個角色的認證內容。
詳細內容在使用 Django Rest Framework 開發的時候出現 SynchronousOnlyOperation 的錯誤,本篇展示一個範例紀錄筆者使用 sync_to_async 的解決方法,一開始看 sync_to_async 說明的時候並不好理解要怎麼使用,參考範例可以比較容易了解,關於 django 的一些基本介紹可以參考 [Django] 用 Python 寫網頁?
詳細內容