Category: IT Technology

[Docker] 清理硬碟空間

Posted on by

新的 Project 大量使用 Docker，有時候一天都要 Build 好幾次不同的映像檔，筆者在建立的映像檔都是 3GB 以上的等級，雖然常常刪除，但是漸漸地雲端伺服器的空間也不太夠用了，找尋了一下大部分清理的相關內容，都是以指令 du, df 或是 du -sm * | sort -n 去查找硬碟實際存取檔案的狀況來清理硬碟為主，本篇想要提供另外一個可能性，如果你是大量使用 docker 的情況的話，可以參考本篇 [Docker] 清理硬碟空間。

詳細內容

[Git] 建立 Git Server 在私人伺服器上

Posted on by

Git 算是軟體工程師必備的一項技能，目前大部分的開發人員會使用市面上已有的 Git 服務，例如 GitHub 或是 BitBucket，他們大部分都是免費的，但是可能些許功能受限，或是如果有安全性疑慮的時候，可能會考慮將自己的智慧財產放在自建的 Git Repository 裡面，本篇介紹如何建立 Git Server 在私人伺服器上。

詳細內容

[網路電話] 28國市話費率打國際電話 OnOff

Posted on by

因為幾次回台灣之後常常接不到法國的電話也回不了法國的簡訊，所以積極開始尋找有沒有適合的虛擬電話號碼的 Solution，年初的時候嘗試了 Skype 與 Sonetel 這兩個解決方案，但是結果不甚滿意，終於近期在地鐵上看到本篇要介紹的 OnOff 網路電話方案！相較於 Sonetel 與 Skype ，OnOff 幾乎是沒有任何缺點！

詳細內容

[Website] Tunneling/Proxy 實作方法

Posted on by

工作上遇到要將某個 localhost 的 port 轉到 public 的區域的需求，查了很多關於 Tunneling/Proxy 實作方法，整理在這邊各種方法的優缺點，以下條列各種方法方法一：Tunneling, 方法二：proxy 代理主機, 方法三：使用商用或是開源的 local server exposure 的服務, 方法四：利用 Nginx 進行 Proxy 的服務。

詳細內容
apache-spark

安裝 Spark 到遠端伺服器

Posted on by

Apache Spark 是一個平行運算的運算平台，由於他在處理不同檔案格式都有強大的資源庫支援，所以如果 leverage 來進行一些資料處理的開發很合適，另外 Spark 可以使用 local 或是 yarn 模式，使用 local 模式開發的進入障礙不會很大，本篇說明如何安裝 Spark 到遠端伺服器上面，部署並執行 spark 的程式！

詳細內容

[Big Data] Azure Batch Auto Scaling

Posted on by

在上一篇我們介紹了 Azure 提供的雲端運算資源，例如 Databricks, HDInsight, Azure Batch 等等，利用 AZTK 可以快速部署一個運算的群集，用戶可以指定 Dedicated Nodes 的數量和 Low Priority Nodes 的數量，本篇想要介紹 Azure Batch Auto Scaling 的功能以及如何使用，詳細可以參考以下文章。

詳細內容

[Python] 套件管理 – Poetry

Posted on by

介紹另外一個 Python 套件用於套件管理 – Poetry，相較於 pip 的管理方式，poetry 的好處在於當我們刪除掉某一個不需要的 package 的時候，我們可以也把其他相關但是不需要的套件一併刪除，由此可以精簡真正需要的 Python 套件，不會過度增加不必要的 python 套件，以下我們舉實例演釋。

詳細內容