[Hadoop] Hdfs Data Integrity with Checksum
使用 Spark/Hadoop 生態系這麼久之後，最近才開始來研究 Hadoop 的 checksum 機制是怎麼運作的？
詳細內容
Author: 檸檬爸
[K8S] On-Demand Spark Cluster on AKS
最近在研究如何在 K8S 上面跑一個 On-Demand 的 Spark Cluster 服務，基本上有兩條路可以走，一條是利用 k8s 的 Deployment 來自建 Spark Cluster，另外一條路則是利用 Kubernetes 既有與 Spark 對接的介面 (這邊是利用 spark-submit) 來實作，概念上就是直接執行一個類似下方的指令，所以想要擁有一個 On-Demand Spark Cluster on AKS 這兩種方法個有什麼優劣？
詳細內容
[AKS] Azure Kubernetes Service 與常用指令
K8S 服務在業界已經是很常用的一個叢集管理技術了，在這邊記錄一些 K8S 的常用指令與利用 Azure Kubernetes 服務實作的一些輸出，關於 Kubernetes 的介紹可以參考以下的 Youtube 影片，讀文件很累的時候可以聽聽 IBM 的工程師是怎麼介紹 K8S。
詳細內容
[買房] Visite Cloison 探訪分區監工
在前一篇筆者介紹有關法國預售屋的購買時程，有提到交屋前六至九個月的 Visite Cloison，Visite Cloison 筆者嘗試翻譯成探訪分區監工，雖然 Cloison 有隔間的意思在裡面，但是法文解釋的 Visite Cloison 為 Une Visite de Chantier qui vous permit de vérifier la conformité de travaux，所以其本質就是讓你到工地裡去監工，本篇參考 SeLoger Neuf 的網站關於 Visite Cloison 工地監工的介紹來講解一下買房時 Visite Cloison 探訪分區監工的一些注意事項。
詳細內容
[開發] 建立自己的 Nexus Repository
🍋 爸在法國擔任資料工程師的時候，頻繁地使用過 Nexus 這個資源庫倉儲系統，那時候使用 Nexus 主要的原因是因為在一間大公司裡面，常常各個部門之間的專案是互相依賴的，此時為了建置 CICD 的管理機制，他們會導入 Nexus 這樣的系統來分享自己編譯好的 Jar 檔(如果是 Java, Scala 的開發環境)，所有使用過 Maven 編譯的開發者應該會 nexus 也不陌生，很多著名的專案都是利用 Nexus 這樣的系統在分享他們的開源程式，例如 Apache Spark 等等，那時候🍋 爸主要是使用為主，本篇要介紹如何部署屬於自己的 Nexus Repository ?
詳細內容
[報稅] frais de garde d’enfant 兒童照護扣除額
五月是報稅的季節，不論是在台灣還是在法國，到了五月就是要來回顧一下自己去年究竟收入與支出是多少？然後要上交多少稅務給政府，檸檬爸多年在法國的生活已經有申報過多次法國的所得稅 (impot de revene)，總而言之法國的所得稅是根據你的收入採累進稅率，是除了每個月自動扣除的社會捐 cotisation social 之外要額外繳納的，一般正常薪水收入的納稅人大約要繳整體收入的 25~35% 給法國政府與保險，本篇想要紀錄如何申報法國的 frais de garde d’enfant 兒童照護扣除額！
詳細內容
Transcription d’Acte de Naissance 轉譯出生證明
如果具有法國國籍的小朋友在法國以外的國家出生的話，需要申請轉譯出生地的出生證明 (Transcription d’Acte de Naissance) ，以台灣為例，申請轉譯這份文件主要是要能夠後續回法國申請身份證 Carte National d’Identité 與 Passeport，法國在台協會 (France-Taipei) 的網站有說明關於這項服務的申請方法。
詳細內容
[Spark] 建置自己的 Spark History Server
進入大數據的世界，基本上脫離不了使用 Spark 這個平行運算的框架，把問題拆小之後，利用螞蟻雄兵的力量可以更容易解決問題，這也是離散數學裡面提到的 Divide and Conquer 的概念，檸檬爸之前有寫過一些介紹 Spark 的文章，也有介紹如何在 Azure 的雲端平台裡面去開啟 On Demand 的 Spark Cluster。本篇要來介紹在運行 Spark Cluster 的時候一定不要忘記要開的 Spark History Server，本篇參考 aztk 的程式碼與 Spark 3.0.1 關於 Monitoring 的網頁，介紹怎麼使用 Spark History Server 。
詳細內容
[Dédouanement] 法國出關申報
之前檸檬爸有寫過一篇文章記錄過包裹被法國海關扣押與如何填寫 une facture pro forma 來領回包裹，本篇想要整理一下假如你今天有需求從法國往世界各國寄東西時要注意哪些事情？申報單應該要怎麼填？不同的申報單在什麼時候要用？
詳細內容
[Android + ELK] java.security.cert.CertPathValidatorException: Trust anchor for certification path
本篇的背景是想要利用 ELK 建立一個接收錯誤訊息的環境，本篇分成幾個部分做一個紀錄，首先建立 ELK 的服務，然後必須要在這兩的服務上面啟動 TLS (SSL) ，接著在 Android 程式端在建置好 Logger 就可以將錯誤訊息記錄到 ELK 裡面，這次卡比較久的地方是在 java.security.cert.CertPathValidatorException: Trust anchor for certification path 這個錯誤，所以本篇以此為標題。
詳細內容