[Hive] 在 Spark 存取自己的 Hive Metastore
擁有一個自己的 Hive Metastore 的好處是方便管理自己的資料，利用 Hive Metastore 可以把資料表與大數據平台上面的資料關連起來。Hive Metastore 可以部署在不同的資料庫上面，例如 MySQL 或是 Microsoft SQL Database。
詳細內容Search Results for: Hive
[Hive] Metastore in Azure Databricks
在開發 Spark 與 Deltalake 的應用的時候，需要建立很多的 Table 與 Database 等資源，這些 Table 的資源究竟是怎麼管理的？就是 Hive Metastore 的角色，我們在很自然使用 Spark SQL 的時候，是否真正了解背後發生了什麼事情？本篇我們紀錄如何在 Databricks 上面使用客製化的 Hive Metastore。
詳細內容
[Hive/HBase] 如何串接 Hive/HBase 資料庫
一般來說在視覺化資料庫的方法一般來說如果是 Hive 資料庫可以透過 DBeaver 等等類似 SQL Client 的程式來顯現，但是如果是像是 HBase 的資料庫的話基本上很難快速了解 HBase 裡面存取的檔案全貌，如果可以利用 Hive 用表格的方式呈現的話會比較好理解，本篇想要介紹如何將 HBase 利用 Hive 呈現出來！
詳細內容
[Hive] 常用的 UDF 指令
當我們下指令詢問 Hive 的資料庫的時候，在比較進階的情況中，常常會遇到一些複雜的資料結構(struct)，例如 array, map, array
[Hive] 內部與外部表 Internal/External Table
Hive 有分所謂內部表與外部表，今天就要來討論究竟這兩個表有什麼差別？又應該在哪一個情況下使用？
詳細內容
[Hadoop] Hdfs Data Integrity with Checksum
使用 Spark/Hadoop 生態系這麼久之後，最近才開始來研究 Hadoop 的 checksum 機制是怎麼運作的？
詳細內容
[Big Data] Hadoop 3.x v.s 2.x
在上一篇我們探討了 Hdfs 在 Hadoop 3.1.2 的時候要怎麼安裝？最近由於筆者需要將 Spark 2.4 升到 Spark 3.0 以上，所以順便研究並且探討 Hadoop 3.x 與 Hadoop 2.x 版本的差異，本篇主要參考的是 Data Flair 網站上面的比較差異，我們整理並且精簡 22 項差異中到最重要的 7 項。
詳細內容
[歸化之後] 常用的法國行政資源 - Dali
在上一篇，筆者講解了一般在法國申請法國國籍的相關資訊，這一篇想要紀錄在歸化法國公民之後常會需要常用的法國行政資源 – Dali，這是一個不起眼，也沒有華麗 UI 的網站，但是對歸化之後想要簡化法國行政手續的新法國人們確是至關重要，簡單來說 Dali 是一個可以讓你線上申請法國 Acte de Naissance, Acte de Marriage 的地方，本篇針對這個網站做一個簡單的介紹，大致可以分成文件種類與文件的形式。
詳細內容
[法文筆記] 5種法文「睡覺」的用法
5種法文「睡覺」的用法：
1. avoir sommeil
2. s’endormir
3. se coucher
4. dormir
5. faire la sieste
[Spark] 常見問題與討論
本篇想要持續記錄在執行 Spark, Hadoop 開發的時候所遇到的所有問題，並提供相對應的參考資料，提供一個第三方的看法當開發者在遇到類似問題的時候可以有靈感可以解決！
詳細內容