[Hive] 常用的 UDF 指令
當我們下指令詢問 Hive 的資料庫的時候，在比較進階的情況中，常常會遇到一些複雜的資料結構(struct)，例如 array, map, array
Category: Big Data & Machine Learning
[Big Data] 建立 BigData 在 Local 的測試環境
在開發 Spark 大數據程式的時候，基本上都會遇到測試的需求，但是可能當時並沒有建立相對應的服務 Cluster 例如 Hdfs, Hive, HBase 等等的資料庫，所以在開發上面會遇到很多困難，其實 Hdfs 還算是比較好解決的，使用 FileSystem 某種程度上面還是可以利用本機的磁碟模擬 Hdfs測試其 Java 程式與 Hdfs 的溝通情況，但是如果遇到像是 Hive, HBase 等等的資料庫，在沒有真正群集的情況之下如何測試自己的程式就變得非常需要了！本篇要介紹的是一個第三方函式庫可以幫助我們單元測試 Java 的程式：
詳細內容
[PySpark] 決策樹範例
在安裝完 Jupyter Notebook 到自己的 Server 之後我們就可以在遠端執行機器學習的程式了！參考連結。在眾多機器學習的演算法中，最直覺的演算法就屬決策樹 (Decision Tree) 了，本篇教學是以 Spark 範例中呈現的 Python 程式碼為主要示範內容，並且利用 Jupyter Notebook 作為執行載具。
詳細內容
[HBase] HBase-2.2.0 安裝教學
在擁有 HDFS 這個儲存資料的平台之後，我們能夠做的應用就很多了，本篇要來介紹如何安裝 HBase 2.2.0，與 Hadoop 相同，HBase 也是使用 Java 來撰寫為主。Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用系列 第 10 篇裡面教學使用 HBase2.0.x，但是只支援Hadoop 2.6.1+與2.7.1+版本，使用 Hadoop-3.1.2 目前可以支援的 HBase 版本為 HBase-2.2.0 (released at 2019/06/11) 參考連結。
詳細內容
[HDFS] 安裝 HDFS (Hadoop-3.1.2)
關於安裝 Hdfs 的解說文，網路上有許多資源，如果是 Hadoop-2.8.2 的安裝解說，萌爸覺得痞客邦的鐵人賽 Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用 講解的很詳細，本篇想要呈現在安裝新的 Hadoop-3.1.2 的時候會有什麼樣的問題。本篇主要參考 hadoop-3.1.2 Single Node Cluster 設定的連結 Link 。
詳細內容
[Hive] 內部與外部表 Internal/External Table
Hive 有分所謂內部表與外部表，今天就要來討論究竟這兩個表有什麼差別？又應該在哪一個情況下使用？
詳細內容
[ML] 類神經網路圖像識別 – 將圖片載入 Numpy
初次嘗試利用 Python, Tensorflow 去分析 PCB 電路板上面的蝕刻品質。
1. 利用 Jupyter Notebook 將檔案呈現在網頁上
2. 利用 Jupyter Notebook 將圖片檔案載入進 Numpy 多維度的儲存空間
初探 Pandas, NumPy, Scikit-Learn, Keras
Post Views: 894 在利用 Tensorflow 或是 Python 處理大數據的時候，不免會接觸到以下這些資源庫(Pandas, Numpy, Scikit, ndArray, Keras)，搞懂與好好利用他們是很重要的事情： Pandas 在 Python 中的角色主要是提供使用者可以取得 DataFrame 的執行程序， import pandas
詳細內容
建立自己的 Jupyter Notebook 伺服器
如果你有自己的伺服器且不想要將自己的數據放在公有的雲上面，此時你可以安裝 Jupyter Notebook 在自己的伺服器上面，以下以 Linux CentOS 作為範例，如果想要安裝 python3 到 CentOS 上面也可以參考連結
詳細內容[Big Data] Establish cluster with Kerberos
Post Views: 706 為了要確保 HDFS 與 YARN 是安全的，利用 Kerberos 來管理權限是必要的手段，尤其當伺服器直接面向外部的時候。 教學連結 : http://blog.javachen.com/2014/11/04/config-kerberos-in-cdh-hdfs.html
詳細內容