[Big Data] 建立 BigData 在 Local 的測試環境

在開發 Spark 大數據程式的時候,基本上都會遇到測試的需求,但是可能當時並沒有建立相對應的服務 Cluster 例如 Hdfs, Hive, HBase 等等的資料庫,所以在開發上面會遇到很多困難,其實 Hdfs 還算是比較好解決的,使用 FileSystem 某種程度上面還是可以利用本機的磁碟模擬 Hdfs測試其 Java 程式與 Hdfs 的溝通情況,但是如果遇到像是 Hive, HBase 等等的資料庫,在沒有真正群集的情況之下如何測試自己的程式就變得非常需要了!本篇要介紹的是一個第三方函式庫可以幫助我們單元測試 Java 的程式:

詳細內容

[HBase] HBase-2.2.0 安裝教學

在擁有 HDFS 這個儲存資料的平台之後,我們能夠做的應用就很多了,本篇要來介紹如何安裝 HBase 2.2.0,與 Hadoop 相同,HBase 也是使用 Java 來撰寫為主。Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用系列 第 10 篇裡面教學使用 HBase2.0.x,但是只支援Hadoop 2.6.1+與2.7.1+版本,使用 Hadoop-3.1.2 目前可以支援的 HBase 版本為 HBase-2.2.0 (released at 2019/06/11) 參考連結。

詳細內容

[HDFS] 安裝 HDFS (Hadoop-3.1.2)

關於安裝 Hdfs 的解說文,網路上有許多資源,如果是 Hadoop-2.8.2 的安裝解說,萌爸覺得痞客邦的鐵人賽 Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用 講解的很詳細,本篇想要呈現在安裝新的 Hadoop-3.1.2 的時候會有什麼樣的問題。本篇主要參考 hadoop-3.1.2 Single Node Cluster 設定的連結 Link 。

詳細內容