想方涉法, France, Taiwan, Health, Information Technology
在開始做大數據的專案的時候通常都會遇到這個問題，要先把資料送到 Hdfs 上之後，資料才有可能被 Spark 等程式使用，一般來說傳送檔案到 Hdfs 可以利用以下方法，EMS/RabbitMQ, Knox Server, FTR 或是 Kafka 等等，常見的做法是透過 Knox 伺服器，由於 Hdfs 的群集是由多個 NameNode 與多個 DataNode 組成，最直接的做法是產生一個 FileSystem 直接指向 Hdfs 而不是透過 Knox，本篇要呈現如何不透過 Knox 向 Hdfs 傳送資料！
Continue reading
檸檬爸有機會參加 BCG Gamma Machine Learning Engineer 的面試測驗，到達第三關之後沒有順利完成測驗，所以利用這一篇的機會做一個整理，BCG Gamma 的第三關機考進行的方式是遠端有一個工程師出題目考你，你直接在電腦前面作答並且跟他討論。
Continue reading
當我們下指令詢問 Hive 的資料庫的時候，在比較進階的情況中，常常會遇到一些複雜的資料結構(struct)，例如 array, map, array
本篇要介紹的是 Django 這一個網頁的 Framework，如果你想要用 Python 來寫網頁的話，這是一個很好的架構！由於 Python 已經是數一數二常用的語言了，如果可以使用 Python 來撰寫網站相對於 PHP，可以比較有架構去建立自己的網站，連結展示很多利用 Django 撰寫出來的網站。
Continue reading為什麼要打疫苗呢？成年後仍然需要施打疫苗。即使小時後有接種過疫苗，成年後仍然需要施打，其原因：
1. 有些疾病是在成年後得到的風險比較大，例如帶狀皰疹，因此其疫苗是建議成年人施打。
2. 有些疫苗於兒童時期施打，但隨著時間推移使其保護力下降，因此需要再次施打。
3. 有些新型疫苗是近年才上市。
4. 有些病毒會隨著時間而不一樣，像是流感病毒，因此高風險的人需要每年施打。
在開發 Spark 大數據程式的時候，基本上都會遇到測試的需求，但是可能當時並沒有建立相對應的服務 Cluster 例如 Hdfs, Hive, HBase 等等的資料庫，所以在開發上面會遇到很多困難，其實 Hdfs 還算是比較好解決的，使用 FileSystem 某種程度上面還是可以利用本機的磁碟模擬 Hdfs測試其 Java 程式與 Hdfs 的溝通情況，但是如果遇到像是 Hive, HBase 等等的資料庫，在沒有真正群集的情況之下如何測試自己的程式就變得非常需要了！本篇要介紹的是一個第三方函式庫可以幫助我們單元測試 Java 的程式：
Continue reading
在安裝完 Jupyter Notebook 到自己的 Server 之後我們就可以在遠端執行機器學習的程式了！參考連結。在眾多機器學習的演算法中，最直覺的演算法就屬決策樹 (Decision Tree) 了，本篇教學是以 Spark 範例中呈現的 Python 程式碼為主要示範內容，並且利用 Jupyter Notebook 作為執行載具。
Continue reading
Transferwise 會直接計算需要的手續費以及匯率，除此之外不會有其他的額外費用了。例如匯款 1000 歐元至台灣的美金帳戶，手續費約為 8.61 歐元，匯率約為 1.12130（且此匯率保證48小時不會變動）。
Continue reading
在擁有 HDFS 這個儲存資料的平台之後，我們能夠做的應用就很多了，本篇要來介紹如何安裝 HBase 2.2.0，與 Hadoop 相同，HBase 也是使用 Java 來撰寫為主。Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用系列 第 10 篇裡面教學使用 HBase2.0.x，但是只支援Hadoop 2.6.1+與2.7.1+版本，使用 Hadoop-3.1.2 目前可以支援的 HBase 版本為 HBase-2.2.0 (released at 2019/06/11) 參考連結。
Continue reading
寶寶需要到法國的托嬰中心、保姆托育或是就讀小學等等，有11種（如圖二：紅色框框中）疫苗是義務需要施打的。
Continue reading