[Big Data] Hadoop 3.x v.s 2.x
在上一篇我們探討了 Hdfs 在 Hadoop 3.1.2 的時候要怎麼安裝？最近由於筆者需要將 Spark 2.4 升到 Spark 3.0 以上，所以順便研究並且探討 Hadoop 3.x 與 Hadoop 2.x 版本的差異，本篇主要參考的是 Data Flair 網站上面的比較差異，我們整理並且精簡 22 項差異中到最重要的 7 項。
詳細內容
Category: Big Data & Machine Learning
Google Storage 介紹
因緣際會之下開始使用 Google Storage 的服務，所以想說要用一篇文章記錄，由於 Google Cloud 的服務五花八門非常多樣化，所以這邊主要會專注在介紹 Google Storage，包含安裝與一些簡單的操作。
詳細內容
安裝 Spark 到遠端伺服器
Apache Spark 是一個平行運算的運算平台，由於他在處理不同檔案格式都有強大的資源庫支援，所以如果 leverage 來進行一些資料處理的開發很合適，另外 Spark 可以使用 local 或是 yarn 模式，使用 local 模式開發的進入障礙不會很大，本篇說明如何安裝 Spark 到遠端伺服器上面，部署並執行 spark 的程式！
詳細內容[Big Data] Azure Batch Auto Scaling
在上一篇我們介紹了 Azure 提供的雲端運算資源，例如 Databricks, HDInsight, Azure Batch 等等，利用 AZTK 可以快速部署一個運算的群集，用戶可以指定 Dedicated Nodes 的數量和 Low Priority Nodes 的數量，本篇想要介紹 Azure Batch Auto Scaling 的功能以及如何使用，詳細可以參考以下文章。
詳細內容
[Cloud] Azure Batch (AZTK)
隨著運算需求的增加，無可避免地要進入公有雲的領域，本篇想要整理一下 Azure 在雲端運算提供的方案但是最終專注在 Azure Batch (AZTK) 的介紹，根據 (連結) Azure 在對於 Batch 批次計算的需求大致上有幾個解決方案。
詳細內容
[ML] PCA 主成份分析
本篇想要介紹一下 Principle Component Analysis, PCA 主成份分析這一個方法背後的數學理論與物理意義，參考的是台大資工系林軒田教授的講義，在林教授的講解過程中，PCA 其實是 Auto-Encoder 中的一個線性特例，如果從 Auto-Encoder 的角度來看 PCA 的話可以更加了解 PCA 主成份分析的物理意義！
詳細內容
[Azure] Databricks-CLI 安裝使用
本篇想要講述如何利用 Databricks 提供的 CLI 來針對需求下指令！ 透過 Databricks-CLI 的幫助許多自動化的流程可以比較容易被實現，本篇參考的是 Azure Databricks 的官方安裝指南。
詳細內容
[Hive/HBase] 如何串接 Hive 到 HBase 資料庫
一般來說在視覺化資料庫的方法一般來說如果是 Hive 資料庫可以透過 DBeaver 等等類似 SQL Client 的程式來顯現，但是如果是像是 HBase 的資料庫的話基本上很難快速了解 HBase 裡面存取的檔案全貌，如果可以利用 Hive 用表格的方式呈現的話會比較好理解，本篇想要介紹如何將 HBase 利用 Hive 呈現出來！
詳細內容[Spark] Row: getList() 的隱藏錯誤
在開發 Java Spark 的時候，常常會需要轉換 Dataset 或是 DataFrame，對於比較大的表格格式變換 (Schema Change)，通常會使用到 JavaRDD 與 Row，開發時用到比較複雜的資料結構像是 List 或是 Map 等等的時候，有時候發生錯誤並不知道要如何除錯？本篇想要展示類別 Row: getList() 的隱藏錯誤在使用的時候發生無法理解的 NullPointerException 現象並且其解決的方法！
詳細內容[BigData] 大數據中的 Join
Join 是一個在關聯性資料庫裡面很常使用的一個運算元，在大數據資料庫慢慢普及的今天，Join 還是一個幫助我們了解資料關係不可或缺的角色，今天想要討論的是在 Spark 裡面 Join 背後執行的運算原理，筆者在執行 Spark 工作的時候，有時候需要優化資料的運算過程以降低運算所需要的時間，本篇的資料來源可以參考連結，另外筆者也很建議大家觀看以下這一個 Youtube 影片。
詳細內容