[Big Data] Hadoop 3.x v.s 2.x
在上一篇我們探討了 Hdfs 在 Hadoop 3.1.2 的時候要怎麼安裝?最近由於筆者需要將 Spark 2.4 升到 Spark 3.0 以上,所以順便研究並且探討 Hadoop 3.x 與 Hadoop 2.x 版本的差異,本篇主要參考的是 Data Flair 網站上面的比較差異,我們整理並且精簡 22 項差異中到最重要的 7 項。
詳細內容想方涉法, France, Taiwan, Health, Information Technology
在上一篇我們探討了 Hdfs 在 Hadoop 3.1.2 的時候要怎麼安裝?最近由於筆者需要將 Spark 2.4 升到 Spark 3.0 以上,所以順便研究並且探討 Hadoop 3.x 與 Hadoop 2.x 版本的差異,本篇主要參考的是 Data Flair 網站上面的比較差異,我們整理並且精簡 22 項差異中到最重要的 7 項。
詳細內容在使用 Android Proguard 的時候,可以先看看 Google 工程師是為什麼要設計 Proguard 的功能與他們想要解決的問題是什麼?然後本篇想要記錄一些在開發 Android 手機程式的時候處理如何處理 Obfuscate / Deobfuscat ?
詳細內容隨著次世代定序 (NGS) 越來越普及,產生的資料越來越多,Fastq 這種描述鹼基序列 (Nucleotide Sequence) 的檔案格式也使用的越來越多,本篇想要整理一些有關 Fastq 檔案介紹,像是 Fastq Data Format 與如何利用 Fastq 做 Quality Control (QC)?
詳細內容因緣際會之下開始使用 Google Storage 的服務,所以想說要用一篇文章記錄,由於 Google Cloud 的服務五花八門非常多樣化,所以這邊主要會專注在介紹 Google Storage,包含安裝與一些簡單的操作。
詳細內容Cromwell 是一個用來執行工作流敘述語言 WDL (workflow description language) 的平台,他是由 Broad Institute 開發的一個開源專案,Cromwell 比較厲害的地方是可以利用不同的雲平台當作他的後台來跑 WDL 的工作流腳本,例如亞馬遜的 AWS 或是 Google Cloud,以下提供一個 AWS 介紹 Cromwell 的影片,本篇想要簡單記錄一些有關 Cromwell 的基本知識。
詳細內容Rclone 是一個很棒的同步軟體,最主要的功能是在 cmd 文字介面的環境之下也可以使用不同的雲端服務例如 DropBox, OneDrive, GoogleDrive 等等,筆者最近開始使用,最主要的原因也是要將伺服器上的資料同步到雲端硬碟讓多人可共享,網路上已經有很多文章介紹 Rclone,本篇就只記錄一些重要的指令與不錯的教學連結!
詳細內容在做軟體開發的時候常常需要針對一個開源的 Git 專案進行客製化,這時候會需要用到 Git 中很好用的 fork 功能,關於 fork 可以參考另外一篇文章,但是 fork 的專案此時預設也都會是公開的(除非你 fork 的專案本身就是 Private),但是可能由於某些緣故你不想要公開你客製化的改動,本篇將會記錄如何將一個 Public 的 forked 專案轉移到 Private 的存放庫中。
詳細內容在檸檬爸的專案裡面有使用到 Vungle 的廣告技術,從 2020 年初之後,就不斷收到 Vungle 寄的升級信如下,主要是因為專案中使用的 Vungle’s SDK Version 6.4 已經不會在繼續符合 Google 的政策,所以不斷催促要求升級,甚至在超過期限之後 Google 會直接把應用程式下架!本篇紀錄升級 Vungle 6.4.11 到 6.7.0 的思考與執行過程。
詳細內容新的 Project 大量使用 Docker,有時候一天都要 Build 好幾次不同的映像檔,筆者在建立的映像檔都是 3GB 以上的等級,雖然常常刪除,但是漸漸地雲端伺服器的空間也不太夠用了,找尋了一下大部分清理的相關內容,都是以指令 du, df 或是 du -sm * | sort -n 去查找硬碟實際存取檔案的狀況來清理硬碟為主,本篇想要提供另外一個可能性,如果你是大量使用 docker 的情況的話,可以參考本篇 [Docker] 清理硬碟空間。
詳細內容生物資訊領域是近幾年來很熱門的一個領域,本篇紀錄有關 VCF – Variant Calling Format 基因變異儲存格式檔案的處理過程,有關於 VCF 的簡單介紹可以參考連結,也可以參考 Wikipedia 裡面關於 VCF 的介紹,一個 VCF 檔案大致上長成以下的樣子
詳細內容