Category: IT Technology

[Oozie] Continuous Delivery with Oozie

在大數據的平台上開發大數據應用的時候,如果想要自動化執行不同的 Spark 腳本的話,很常會使用 Apache Oozie 這個軟體,如果想要配合一些 Continuous Delivery 的工具如 Jenkins 和 TeamCity 來使用的時候,需要透過 Oozie 的 WebAPI 來使用,有兩種主要的使用方法,一種是利用 Shell Script 下達 Curl 的指令快速溝通,另一種方式則是利用 Oozie 專案開發的 OozieClient 配合 groovy 或是 Java 的指令運行。

詳細內容

[Adsense] Valuable Inventory: No Content

檸檬爸在申請 Adsense 廣告這一條路上其實花了蠻多的時間的,再將網站建置完成之後想要申請 Adsense 的廣告帳號,但是一直沒有成功,反而一直出現了高價值廣告空間:無內容 (Valuable Inventory: No Content) 這一個訊息提醒,如以下圖片所示。本篇提供給受到這錯誤訊息困擾的用戶一點點成功經驗的分享。在尋找出現無內容錯誤訊息的原因的時候,筆者參考了以下的網站,提到了原因應該是 robots.txt 設定的問題,所以我們自己創建了一個 robots.txt 檔,然後成功讓 Google Adsense 開始審查。

詳細內容

[BigData] 大數據中的 Join

Join 是一個在關聯性資料庫裡面很常使用的一個運算元,在大數據資料庫慢慢普及的今天,Join 還是一個幫助我們了解資料關係不可或缺的角色,今天想要討論的是在 Spark 裡面 Join 背後執行的運算原理,筆者在執行 Spark 工作的時候,有時候需要優化資料的運算過程以降低運算所需要的時間,本篇的資料來源可以參考連結,另外筆者也很建議大家觀看以下這一個 Youtube 影片。

詳細內容

Jenkins + Fastlane on CentOS 7

本篇要記錄一下如何安裝 Jenkins 與 Fastlane 到 Linux CentOS 7 上面,Jenkins 是一個市面上常用的 Continuous Delivery 的工具,從 2011 年開發到現在已經被廣泛採用,Fastlane 則是一個在開發 iOS 與 Android 手機程式自動化發佈新版手機程式的工具,放在 Linux Server 上面可以加快手機程式部署的速度,不多說快看內容吧!

詳細內容