想方涉法, France, Taiwan, Health, Information Technology
進入大數據的世界，基本上脫離不了使用 Spark 這個平行運算的框架，把問題拆小之後，利用螞蟻雄兵的力量可以更容易解決問題，這也是離散數學裡面提到的 Divide and Conquer 的概念，檸檬爸之前有寫過一些介紹 Spark 的文章，也有介紹如何在 Azure 的雲端平台裡面去開啟 On Demand 的 Spark Cluster。本篇要來介紹在運行 Spark Cluster 的時候一定不要忘記要開的 Spark History Server，本篇參考 aztk 的程式碼與 Spark 3.0.1 關於 Monitoring 的網頁，介紹怎麼使用 Spark History Server 。
詳細內容
在上一篇我們探討了 Hdfs 在 Hadoop 3.1.2 的時候要怎麼安裝？最近由於筆者需要將 Spark 2.4 升到 Spark 3.0 以上，所以順便研究並且探討 Hadoop 3.x 與 Hadoop 2.x 版本的差異，本篇主要參考的是 Data Flair 網站上面的比較差異，我們整理並且精簡 22 項差異中到最重要的 7 項。
詳細內容
因緣際會之下開始使用 Google Storage 的服務，所以想說要用一篇文章記錄，由於 Google Cloud 的服務五花八門非常多樣化，所以這邊主要會專注在介紹 Google Storage，包含安裝與一些簡單的操作。
詳細內容
Apache Spark 是一個平行運算的運算平台，由於他在處理不同檔案格式都有強大的資源庫支援，所以如果 leverage 來進行一些資料處理的開發很合適，另外 Spark 可以使用 local 或是 yarn 模式，使用 local 模式開發的進入障礙不會很大，本篇說明如何安裝 Spark 到遠端伺服器上面，部署並執行 spark 的程式！
詳細內容在上一篇我們介紹了 Azure 提供的雲端運算資源，例如 Databricks, HDInsight, Azure Batch 等等，利用 AZTK 可以快速部署一個運算的群集，用戶可以指定 Dedicated Nodes 的數量和 Low Priority Nodes 的數量，本篇想要介紹 Azure Batch Auto Scaling 的功能以及如何使用，詳細可以參考以下文章。
詳細內容
隨著運算需求的增加，無可避免地要進入公有雲的領域，本篇想要整理一下 Azure 在雲端運算提供的方案但是最終專注在 Azure Batch (AZTK) 的介紹，根據 (連結) Azure 在對於 Batch 批次計算的需求大致上有幾個解決方案。
詳細內容
本篇想要介紹一下 Principle Component Analysis, PCA 主成份分析這一個方法背後的數學理論與物理意義，參考的是台大資工系林軒田教授的講義，在林教授的講解過程中，PCA 其實是 Auto-Encoder 中的一個線性特例，如果從 Auto-Encoder 的角度來看 PCA 的話可以更加了解 PCA 主成份分析的物理意義！
詳細內容
本篇想要講述如何利用 Databricks 提供的 CLI 來針對需求下指令！ 透過 Databricks-CLI 的幫助許多自動化的流程可以比較容易被實現，本篇參考的是 Azure Databricks 的官方安裝指南。
詳細內容
一般來說在視覺化資料庫的方法一般來說如果是 Hive 資料庫可以透過 DBeaver 等等類似 SQL Client 的程式來顯現，但是如果是像是 HBase 的資料庫的話基本上很難快速了解 HBase 裡面存取的檔案全貌，如果可以利用 Hive 用表格的方式呈現的話會比較好理解，本篇想要介紹如何將 HBase 利用 Hive 呈現出來！
詳細內容在開發 Java Spark 的時候，常常會需要轉換 Dataset 或是 DataFrame，對於比較大的表格格式變換 (Schema Change)，通常會使用到 JavaRDD 與 Row，開發時用到比較複雜的資料結構像是 List 或是 Map 等等的時候，有時候發生錯誤並不知道要如何除錯？本篇想要展示類別 Row: getList() 的隱藏錯誤在使用的時候發生無法理解的 NullPointerException 現象並且其解決的方法！
詳細內容