Category: Big Data & Machine Learning

[K8S] On-Demand Spark Cluster on AKS

Posted on by

最近在研究如何在 K8S 上面跑一個 On-Demand 的 Spark Cluster 服務，基本上有兩條路可以走，一條是利用 k8s 的 Deployment 來自建 Spark Cluster，另外一條路則是利用 Kubernetes 既有與 Spark 對接的介面 (這邊是利用 spark-submit) 來實作，概念上就是直接執行一個類似下方的指令，所以想要擁有一個 On-Demand Spark Cluster on AKS 這兩種方法個有什麼優劣？

詳細內容

[Spark] 建置自己的 Spark History Server

Posted on by

進入大數據的世界，基本上脫離不了使用 Spark 這個平行運算的框架，把問題拆小之後，利用螞蟻雄兵的力量可以更容易解決問題，這也是離散數學裡面提到的 Divide and Conquer 的概念，檸檬爸之前有寫過一些介紹 Spark 的文章，也有介紹如何在 Azure 的雲端平台裡面去開啟 On Demand 的 Spark Cluster。本篇要來介紹在運行 Spark Cluster 的時候一定不要忘記要開的 Spark History Server，本篇參考 aztk 的程式碼與 Spark 3.0.1 關於 Monitoring 的網頁，介紹怎麼使用 Spark History Server 。

詳細內容
apache-spark

安裝 Spark 到遠端伺服器

Posted on by

Apache Spark 是一個平行運算的運算平台，由於他在處理不同檔案格式都有強大的資源庫支援，所以如果 leverage 來進行一些資料處理的開發很合適，另外 Spark 可以使用 local 或是 yarn 模式，使用 local 模式開發的進入障礙不會很大，本篇說明如何安裝 Spark 到遠端伺服器上面，部署並執行 spark 的程式！

詳細內容

[Big Data] Azure Batch Auto Scaling

Posted on by

在上一篇我們介紹了 Azure 提供的雲端運算資源，例如 Databricks, HDInsight, Azure Batch 等等，利用 AZTK 可以快速部署一個運算的群集，用戶可以指定 Dedicated Nodes 的數量和 Low Priority Nodes 的數量，本篇想要介紹 Azure Batch Auto Scaling 的功能以及如何使用，詳細可以參考以下文章。

詳細內容
PCA 主成份分析

[ML] PCA 主成份分析

Posted on by

本篇想要介紹一下 Principle Component Analysis, PCA 主成份分析這一個方法背後的數學理論與物理意義，參考的是台大資工系林軒田教授的講義，在林教授的講解過程中，PCA 其實是 Auto-Encoder 中的一個線性特例，如果從 Auto-Encoder 的角度來看 PCA 的話可以更加了解 PCA 主成份分析的物理意義！

詳細內容