[HDFS] 安裝 HDFS (Hadoop-3.1.2)
關於安裝 Hdfs 的解說文，網路上有許多資源，如果是 Hadoop-2.8.2 的安裝解說，萌爸覺得痞客邦的鐵人賽 Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用 講解的很詳細，本篇想要呈現在安裝新的 Hadoop-3.1.2 的時候會有什麼樣的問題。本篇主要參考 hadoop-3.1.2 Single Node Cluster 設定的連結 Link 。
詳細內容
Category: Big Data & Machine Learning
[Hive] 內部與外部表 Internal/External Table
Hive 有分所謂內部表與外部表，今天就要來討論究竟這兩個表有什麼差別？又應該在哪一個情況下使用？
詳細內容
[ML] 類神經網路圖像識別 – 將圖片載入 Numpy
初次嘗試利用 Python, Tensorflow 去分析 PCB 電路板上面的蝕刻品質。
1. 利用 Jupyter Notebook 將檔案呈現在網頁上
2. 利用 Jupyter Notebook 將圖片檔案載入進 Numpy 多維度的儲存空間
初探 Pandas, NumPy, Scikit-Learn, Keras
Post Views: 2,488 在利用 Tensorflow 或是 Python 處理大數據的時候，不免會接觸到以下這些資源庫(Pandas, Numpy, Scikit, ndArray, Keras)，搞懂與好好利用他們是很重要的事情： Pandas 在 Python 中的角色主要是提供使用者可以取得 DataFrame 的執行程序， import pandas
詳細內容
建立自己的 Jupyter Notebook 伺服器
如果你有自己的伺服器且不想要將自己的數據放在公有的雲上面，此時你可以安裝 Jupyter Notebook 在自己的伺服器上面，以下以 Linux CentOS 作為範例，如果想要安裝 python3 到 CentOS 上面也可以參考連結
詳細內容[Big Data] Establish cluster with Kerberos
Post Views: 1,483 為了要確保 HDFS 與 YARN 是安全的，利用 Kerberos 來管理權限是必要的手段，尤其當伺服器直接面向外部的時候。 教學連結 : http://blog.javachen.com/2014/11/04/config-kerberos-in-cdh-hdfs.html
詳細內容