Category: IT Technology

[統計] 為什麼樣本標準差要除以 n-1 ?

Posted on by

本篇想要簡單的紀錄並且回答一個學習統計的人會遇到的問題，其實有不少統計的老師有討論過這個問題例如連結，但是並不是經過一個比較嚴謹的數學推導，本篇取材的來源是由 Michael J. Evans and Jeffrey S.Rosenthal 著作的機率與統計，不確定性的科學一書，點擊即可以下載。

Continue reading

[Spark] Row: getList() 的隱藏錯誤

Posted on by

在開發 Java Spark 的時候，常常會需要轉換 Dataset 或是 DataFrame，對於比較大的表格格式變換 (Schema Change)，通常會使用到 JavaRDD 與 Row，開發時用到比較複雜的資料結構像是 List 或是 Map 等等的時候，有時候發生錯誤並不知道要如何除錯？本篇想要展示類別 Row: getList() 的隱藏錯誤在使用的時候發生無法理解的 NullPointerException 現象並且其解決的方法！

Continue reading

[Oozie] Continuous Delivery with Oozie

Posted on by

在大數據的平台上開發大數據應用的時候，如果想要自動化執行不同的 Spark 腳本的話，很常會使用 Apache Oozie 這個軟體，如果想要配合一些 Continuous Delivery 的工具如 Jenkins 和 TeamCity 來使用的時候，需要透過 Oozie 的 WebAPI 來使用，有兩種主要的使用方法，一種是利用 Shell Script 下達 Curl 的指令快速溝通，另一種方式則是利用 Oozie 專案開發的 OozieClient 配合 groovy 或是 Java 的指令運行。

Continue reading

[Adsense] Valuable Inventory: No Content

Posted on by

檸檬爸在申請 Adsense 廣告這一條路上其實花了蠻多的時間的，再將網站建置完成之後想要申請 Adsense 的廣告帳號，但是一直沒有成功，反而一直出現了高價值廣告空間：無內容 (Valuable Inventory: No Content) 這一個訊息提醒，如以下圖片所示。本篇提供給受到這錯誤訊息困擾的用戶一點點成功經驗的分享。在尋找出現無內容錯誤訊息的原因的時候，筆者參考了以下的網站，提到了原因應該是 robots.txt 設定的問題，所以我們自己創建了一個 robots.txt 檔，然後成功讓 Google Adsense 開始審查。

Continue reading

[BigData] 大數據中的 Join

Posted on by

Join 是一個在關聯性資料庫裡面很常使用的一個運算元，在大數據資料庫慢慢普及的今天，Join 還是一個幫助我們了解資料關係不可或缺的角色，今天想要討論的是在 Spark 裡面 Join 背後執行的運算原理，筆者在執行 Spark 工作的時候，有時候需要優化資料的運算過程以降低運算所需要的時間，本篇的資料來源可以參考連結，另外筆者也很建議大家觀看以下這一個 Youtube 影片。

Continue reading