[BigData] 整合 BeeGFS 到 K8S 生態系
雖然公有雲的服務例如 AWS, Azure, GCP 已經逐漸普及了，但是私有雲 HPC 的市場還是一直有相對的份額，不同於公有雲的儲存服務，在佈建私有雲的時候，儲存 (Storage) 的解決方案仍然是一個需要花費大量心力的議題，本篇紀錄如何將 HPC 儲存方案之一的 BeeGFS 掛載到 K8S 的生態系裡面。
詳細內容
Author: 檸檬爸
2024 Revisit Great Britain 重遊英國
人生去過倫敦好多趟，好像除了巴黎沒有一個國外的城市去過這麼多次，小時候跟爸爸媽媽去過英國兩次，去了 Nottingham 溫莎城堡，長大之後 2012 年跟大學同學一起看倫敦眼的跨年煙火跟音樂劇，2014 年跟家人一起遊劍橋 Cambridge，2015 年到倫敦找當時當空姐的姊姊起去了巴斯 Bath 與巨石陣 Stonehenge，2022 年參加到 Elisabeth 線開通與女王白金禧，2024 年跟太太小孩再一起去了牛津 Oxford，這次重遊時還是充滿回憶的！
詳細內容
[eSIM] 從 OnOff 轉換到 B&You
2020 年檸檬爸有一篇介紹的 OnOff 服務的文章，在台灣可以免費接收到法國打過來的電話，不用另外付費，但是如果有需要回到法國的時候，檸檬爸建議在出發之前把同一個號碼轉回法國的某一家電信公司，如此一來就可以在一下飛機的時候馬上享受法國的電信網路，並且節省 OnOff 的費用，在本篇之前要將 OnOff 的帳號轉回法國的電信帳號都需要有一個地址重新寄送實體的 SIM 卡，但是本篇想要介紹一個新的方法，利用 eSIM 技術簡化這整個過程。
詳細內容
[AWS] curl 上傳檔案至 AWS S3
在導入 AWS 作為後端雲平台的時候，遇到了需要透過 curl 指令將檔案直接上傳到 S3 的需求，一開始以為一定要透過 presigned URL 的方式才能夠進行，但是後來參考了幾篇網路的文章並且經過實作驗證之後，發現也可以直接用 bash shell 配合 AWS credentials 進行，由於 AWS 的 credentials 有分成有時效性與無時效性兩種，本篇針對兩種不同的憑證放上不同的程式碼。
詳細內容
Azure Ubuntu 20.04 VM 安裝 Nvidia T4 GPU Driver 紀錄
本篇想要記錄一下在 Azure Ubuntu 20.04 x64 VM 上面使用 GPU 的安裝過程，首先需要安裝相關 Nvidia GPU 的 Driver，不過究竟要安裝多少套件各方說法不一，由於之前已經有一組可以使用 GPU 的安裝指令，所以本篇以嘗試使用這組指令為基礎紀錄解決問題的方法，鳥哥的教學告訴我們可以利用 dpkg -l ‘nvidia*’ 的指令得知目前安裝所有 Nvidia GPU 相關的套件總覽，配合這個指令我們可以了解究竟安裝了什麼？
詳細內容
[GPU] Native Rapids UDF – Compilation Environment
上一篇我們介紹了如何利用 cudf C++ 創建自己可以跑在 GPU 上面的 UDF，本篇我們想要紀錄如何利用 Spark Rapids Examples 提供的編譯環境建造出屬於自己的 jar 可以跑在有 GPU 的 Spark 叢集運算之上。
詳細內容
[GPU] Native Rapids UDF – Create Custom UDF
在上一篇我們成功實作了 HiveUDF，為了要進一步利用 GPU 加速，我們需要去實作 evaluateColumnar 這一個函數，參考 Spark Rapids 的 Github 與 ColumnView 裡面的範例，針對我們想做到的 UDF 我們沒有發現適合的函數去實作針對一個 Array[String] 的過濾程式，所以我們需要自己去實作 Tutorial 裡面所謂的 Native Code Examples，Tutorial 裡面針對 HiveUDF 只有提供一個範例是 StringWordCount，本篇我們紀錄藉由這個範例去實作一個支援 GPU 的 HiveUDF。
詳細內容
[法國租屋] Chèque Energie 能源補助支票
檸檬爸前一陣子收到一個有關 Chèque Energie 的 Email，以為是詐騙就放著沒有管，直到連檸檬媽也收到相關的 Email 之後，決定要來好好研究怎麼使用這張 Chèque Energie，在使用上面也遇到了一些問題，所以想說利用本篇記錄一下整個過程。
詳細內容
[Spark] Define and Register Hive UDF with Spark Rapids
在上一篇我們介紹如何透過 Spark Rapids 去利用 GPU 加速執行 SQL，我們遇到了幾個問題並一一解決，最後我們成功在 Spark Thrift Server 上面啟動了 Spark Rapids 的功能，並且使用 pyHive 將 SQL 的 Request 送進 Spark Cluster 裡面，為了要更進一步完全使用 GPU 的資源，在執行 SQL command 的時候如果遇到沒有支援 Spark Rapids 的 UDF (User-Defined Function) 的時候，會拖慢整體的速度，讓使用 GPU 的效果沒有發揮出來，因此本篇想要紀錄如何實作並定義一個 Hive UDF。
詳細內容
[租屋] Charge Récupérables 房客負擔管理費
檸檬爸最近收到了過去一年社區管委會 (Syndicat des Copropriétaires) 寄過來的管理費補繳帳單 (Répartition des Charges)，與台灣不同的是法國的管理費或是物業費 (Charges) 其實是有包含熱水 (Eau Chaudes) 與暖氣的 (Chauffage)，所以你的物業費會根據你的使用量來跟你計費，由於目前檸檬家有出租的關係，究竟要如何跟房客一起分擔這筆費用，其實法國政府有明文規定，房東即便沒有實際住在房子裡面，還是有需要分擔的部分，一開始檸檬爸也是搞錯狀況，所以趕緊補上這篇，算是一個紀錄。
詳細內容