[BigData] 整合 BeeGFS 到 K8S 生態系
雖然公有雲的服務例如 AWS, Azure, GCP 已經逐漸普及了,但是私有雲 HPC 的市場還是一直有相對的份額,不同於公有雲的儲存服務,在佈建私有雲的時候,儲存 (Storage) 的解決方案仍然是一個需要花費大量心力的議題,本篇紀錄如何將 HPC 儲存方案之一的 BeeGFS 掛載到 K8S 的生態系裡面。
詳細內容想方涉法, France, Taiwan, Health, Information Technology
雖然公有雲的服務例如 AWS, Azure, GCP 已經逐漸普及了,但是私有雲 HPC 的市場還是一直有相對的份額,不同於公有雲的儲存服務,在佈建私有雲的時候,儲存 (Storage) 的解決方案仍然是一個需要花費大量心力的議題,本篇紀錄如何將 HPC 儲存方案之一的 BeeGFS 掛載到 K8S 的生態系裡面。
詳細內容去接她們時,在回家的路上超開心的~ 跟我們分享今天去森林裡面玩,要穿螢光安全的背心和靴子,還有坐上馬車,讓馬帶她們走一走😆。 她們雖然覺得冷,但還好沒有感冒。回到家就開始問,明天(週四)要去哪裡上課,我們說要回學校學習,兩個馬上不想,明天還想待在 centre de loisir 😂。
詳細內容人生去過倫敦好多趟,好像除了巴黎沒有一個國外的城市去過這麼多次,小時候跟爸爸媽媽去過英國兩次,去了 Nottingham 溫莎城堡,長大之後 2012 年跟大學同學一起看倫敦眼的跨年煙火跟音樂劇,2014 年跟家人一起遊劍橋 Cambridge,2015 年到倫敦找當時當空姐的姊姊起去了巴斯 Bath 與巨石陣 Stonehenge,2022 年參加到 Elisabeth 線開通與女王白金禧,2024 年跟太太小孩再一起去了牛津 Oxford,這次重遊時還是充滿回憶的!
詳細內容2020 年檸檬爸有一篇介紹的 OnOff 服務的文章,在台灣可以免費接收到法國打過來的電話,不用另外付費,但是如果有需要回到法國的時候,檸檬爸建議在出發之前把同一個號碼轉回法國的某一家電信公司,如此一來就可以在一下飛機的時候馬上享受法國的電信網路,並且節省 OnOff 的費用,在本篇之前要將 OnOff 的帳號轉回法國的電信帳號都需要有一個地址重新寄送實體的 SIM 卡,但是本篇想要介紹一個新的方法,利用 eSIM 技術簡化這整個過程。
詳細內容在導入 AWS 作為後端雲平台的時候,遇到了需要透過 curl 指令將檔案直接上傳到 S3 的需求,一開始以為一定要透過 presigned URL 的方式才能夠進行,但是後來參考了幾篇網路的文章並且經過實作驗證之後,發現也可以直接用 bash shell 配合 AWS credentials 進行,由於 AWS 的 credentials 有分成有時效性與無時效性兩種,本篇針對兩種不同的憑證放上不同的程式碼。
詳細內容本篇想要記錄一下在 Azure Ubuntu 20.04 x64 VM 上面使用 GPU 的安裝過程,首先需要安裝相關 Nvidia GPU 的 Driver,不過究竟要安裝多少套件各方說法不一,由於之前已經有一組可以使用 GPU 的安裝指令,所以本篇以嘗試使用這組指令為基礎紀錄解決問題的方法,鳥哥的教學告訴我們可以利用 dpkg -l ‘nvidia*’ 的指令得知目前安裝所有 Nvidia GPU 相關的套件總覽,配合這個指令我們可以了解究竟安裝了什麼?
詳細內容上一篇我們介紹了如何利用 cudf C++ 創建自己可以跑在 GPU 上面的 UDF,本篇我們想要紀錄如何利用 Spark Rapids Examples 提供的編譯環境建造出屬於自己的 jar 可以跑在有 GPU 的 Spark 叢集運算之上。
詳細內容在上一篇我們成功實作了 HiveUDF,為了要進一步利用 GPU 加速,我們需要去實作 evaluateColumnar 這一個函數,參考 Spark Rapids 的 Github 與 ColumnView 裡面的範例,針對我們想做到的 UDF 我們沒有發現適合的函數去實作針對一個 Array[String] 的過濾程式,所以我們需要自己去實作 Tutorial 裡面所謂的 Native Code Examples,Tutorial 裡面針對 HiveUDF 只有提供一個範例是 StringWordCount,本篇我們紀錄藉由這個範例去實作一個支援 GPU 的 HiveUDF。
詳細內容檸檬爸前一陣子收到一個有關 Chèque Energie 的 Email,以為是詐騙就放著沒有管,直到連檸檬媽也收到相關的 Email 之後,決定要來好好研究怎麼使用這張 Chèque Energie,在使用上面也遇到了一些問題,所以想說利用本篇記錄一下整個過程。
詳細內容