[Website] 管理 MySQL 權限
在管理 MySQL 的時候需要慎重地管理權限，一般來說管理與查看 MySQL 資料庫有三個辦法：1. 使用 root 從 localhost 也就是從伺服器端登入。2. 使用 phpmyadmin 登入。3. 使用其他資料庫軟體 (例如 SQLDeveloper) 登入。這三個管理辦法卻需要相對應的權限，本篇想要總結一些有用的 MySQL 指令充分管理 MySQL 的權限，方法一通常在資料庫生成的時候就會啟動。
Continue readingCategory: IT Technology
[PHP] 如何對 MySQL 的 UTF16 進行讀寫
檸檬爸在開發 PHP 網站的時候有運用到 MySQL 資料庫，由於特殊的應用需求，在某些表格的結構中需要用到 utf16_unicode_ci 的編碼。但在利用某些 PHP framework 例如 (CodeIgnitor) 對資料庫進行讀寫的時候由於 character-set 預設為 utf8 所以會出現亂碼的情況，本篇想要介紹遇到此依情況時可能的解決方法。
Continue reading[Hdfs] 利用 FileSystem 傳資料到 Hdfs?
在開始做大數據的專案的時候通常都會遇到這個問題，要先把資料送到 Hdfs 上之後，資料才有可能被 Spark 等程式使用，一般來說傳送檔案到 Hdfs 可以利用以下方法，EMS/RabbitMQ, Knox Server, FTR 或是 Kafka 等等，常見的做法是透過 Knox 伺服器，由於 Hdfs 的群集是由多個 NameNode 與多個 DataNode 組成，最直接的做法是產生一個 FileSystem 直接指向 Hdfs 而不是透過 Knox，本篇要呈現如何不透過 Knox 向 Hdfs 傳送資料！
Continue reading
[BCG Gamma] 真人機考紀錄
檸檬爸有機會參加 BCG Gamma Machine Learning Engineer 的面試測驗，到達第三關之後沒有順利完成測驗，所以利用這一篇的機會做一個整理，BCG Gamma 的第三關機考進行的方式是遠端有一個工程師出題目考你，你直接在電腦前面作答並且跟他討論。
Continue reading
[Hive] 常用的 UDF 指令
當我們下指令詢問 Hive 的資料庫的時候，在比較進階的情況中，常常會遇到一些複雜的資料結構(struct)，例如 array, map, array
[Django] 用 Python 寫網頁？
本篇要介紹的是 Django 這一個網頁的 Framework，如果你想要用 Python 來寫網頁的話，這是一個很好的架構！由於 Python 已經是數一數二常用的語言了，如果可以使用 Python 來撰寫網站相對於 PHP，可以比較有架構去建立自己的網站，連結展示很多利用 Django 撰寫出來的網站。
Continue reading[Big Data] 建立 BigData 在 Local 的測試環境
在開發 Spark 大數據程式的時候，基本上都會遇到測試的需求，但是可能當時並沒有建立相對應的服務 Cluster 例如 Hdfs, Hive, HBase 等等的資料庫，所以在開發上面會遇到很多困難，其實 Hdfs 還算是比較好解決的，使用 FileSystem 某種程度上面還是可以利用本機的磁碟模擬 Hdfs測試其 Java 程式與 Hdfs 的溝通情況，但是如果遇到像是 Hive, HBase 等等的資料庫，在沒有真正群集的情況之下如何測試自己的程式就變得非常需要了！本篇要介紹的是一個第三方函式庫可以幫助我們單元測試 Java 的程式：
Continue reading
[PySpark] 決策樹範例
在安裝完 Jupyter Notebook 到自己的 Server 之後我們就可以在遠端執行機器學習的程式了！參考連結。在眾多機器學習的演算法中，最直覺的演算法就屬決策樹 (Decision Tree) 了，本篇教學是以 Spark 範例中呈現的 Python 程式碼為主要示範內容，並且利用 Jupyter Notebook 作為執行載具。
Continue reading
[HBase] HBase-2.2.0 安裝教學
在擁有 HDFS 這個儲存資料的平台之後，我們能夠做的應用就很多了，本篇要來介紹如何安裝 HBase 2.2.0，與 Hadoop 相同，HBase 也是使用 Java 來撰寫為主。Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用系列 第 10 篇裡面教學使用 HBase2.0.x，但是只支援Hadoop 2.6.1+與2.7.1+版本，使用 Hadoop-3.1.2 目前可以支援的 HBase 版本為 HBase-2.2.0 (released at 2019/06/11) 參考連結。
Continue reading
[HDFS] 安裝 HDFS (Hadoop-3.1.2)
關於安裝 Hdfs 的解說文，網路上有許多資源，如果是 Hadoop-2.8.2 的安裝解說，萌爸覺得痞客邦的鐵人賽 Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用 講解的很詳細，本篇想要呈現在安裝新的 Hadoop-3.1.2 的時候會有什麼樣的問題。本篇主要參考 hadoop-3.1.2 Single Node Cluster 設定的連結 Link 。
Continue reading