[Website] Tunneling/Proxy 實作方法
工作上遇到要將某個 localhost 的 port 轉到 public 的區域的需求，查了很多關於 Tunneling/Proxy 實作方法，整理在這邊各種方法的優缺點，以下條列各種方法方法一：Tunneling, 方法二：proxy 代理主機, 方法三：使用商用或是開源的 local server exposure 的服務, 方法四：利用 Nginx 進行 Proxy 的服務。
詳細內容
Category: IT Technology
安裝 Spark 到遠端伺服器
Apache Spark 是一個平行運算的運算平台，由於他在處理不同檔案格式都有強大的資源庫支援，所以如果 leverage 來進行一些資料處理的開發很合適，另外 Spark 可以使用 local 或是 yarn 模式，使用 local 模式開發的進入障礙不會很大，本篇說明如何安裝 Spark 到遠端伺服器上面，部署並執行 spark 的程式！
詳細內容[Big Data] Azure Batch Auto Scaling
在上一篇我們介紹了 Azure 提供的雲端運算資源，例如 Databricks, HDInsight, Azure Batch 等等，利用 AZTK 可以快速部署一個運算的群集，用戶可以指定 Dedicated Nodes 的數量和 Low Priority Nodes 的數量，本篇想要介紹 Azure Batch Auto Scaling 的功能以及如何使用，詳細可以參考以下文章。
詳細內容
[Python] 套件管理 – Poetry
介紹另外一個 Python 套件用於套件管理 – Poetry，相較於 pip 的管理方式，poetry 的好處在於當我們刪除掉某一個不需要的 package 的時候，我們可以也把其他相關但是不需要的套件一併刪除，由此可以精簡真正需要的 Python 套件，不會過度增加不必要的 python 套件，以下我們舉實例演釋。
詳細內容[Python] 版本切換 – alternatives
Python 版本主要分成 Python2 與 Python3，在安裝不同 python library 的時候會需要不同版本的支援，當專案越來越大的時候就要好好管理自己的版本數，本篇整理 [Python] 實用版本切換 – alternatives/update-alternatives 的簡單使用方法！
詳細內容
[Cloud] Azure Batch (AZTK)
隨著運算需求的增加，無可避免地要進入公有雲的領域，本篇想要整理一下 Azure 在雲端運算提供的方案但是最終專注在 Azure Batch (AZTK) 的介紹，根據 (連結) Azure 在對於 Batch 批次計算的需求大致上有幾個解決方案。
詳細內容
[Web] 自動備份 utf16 MySQL 資料庫
在前一篇文章裡面我們講解了如何針對 MySQL 資料庫中的 utf16_unicode_ci 的欄位進行讀寫，加入 utf16 的編碼的確讓開發多了很多要考慮的地方，筆者在進行網站開發的時候，為了不影響到 business 的運作，跟大部分的工程師一樣有 DEV 與 PRD 的環境，本篇想要紀錄自動拷貝 PRD 的 MySQL 資料庫到 DEV 的環境並且自動備份 utf16 MySQL Databases 的方法。
詳細內容
[ML] PCA 主成份分析
本篇想要介紹一下 Principle Component Analysis, PCA 主成份分析這一個方法背後的數學理論與物理意義，參考的是台大資工系林軒田教授的講義，在林教授的講解過程中，PCA 其實是 Auto-Encoder 中的一個線性特例，如果從 Auto-Encoder 的角度來看 PCA 的話可以更加了解 PCA 主成份分析的物理意義！
詳細內容
[統計] Chi-Square Test 卡方檢定
Chi-Square Test 或稱為 Chi-Squared Goodness of Fit Test 主要是透過一個樣本取樣來檢測我們是否有足夠的信心去使用 Multinomial 分佈描述這個取樣目標的隨機行為？本篇的數學推導主要參考 Michael J. Evans and Jeffrey S.Rosenthal 著作的 Probability and Statistic, The Science of Uncertainty 一書。
詳細內容
[Git] 使用 fork 的好處
Git 是一個軟體工程師幾乎必備的工具，市面上已經有很多介紹 Git 的使用方法，本篇想要紀錄在 fork 一個專案時會需要用到的指令與使用 fork 的好處！使用 fork 的好處是可以在原本 Git 專案之外創造一個個人的遠端空間或是可以與團隊共享，在 fork 中開發的專案基本上不會影響原生的專案但是又可以寶由原本專案中的所有紀錄。
詳細內容