[Spark] 常見問題與討論
本篇想要持續記錄在執行 Spark, Hadoop 開發的時候所遇到的所有問題,並提供相對應的參考資料,提供一個第三方的看法當開發者在遇到類似問題的時候可以有靈感可以解決!
詳細內容想方涉法, France, Taiwan, Health, Information Technology
本篇想要持續記錄在執行 Spark, Hadoop 開發的時候所遇到的所有問題,並提供相對應的參考資料,提供一個第三方的看法當開發者在遇到類似問題的時候可以有靈感可以解決!
詳細內容ownCloud 是一個市面上開源的雲端硬碟的解決方案,本篇會先介紹如何在 docker 上快速架起一個 ownCloud 的服務,再來介紹如何安裝在 Linux 的主機上讓檔案可以跟 Linux 本機共用,由於有同步伺服器與筆記型電腦的需求,所以研究這兩個辦法,以下列出彼此的優缺點,綜合以下的優缺點我們最後選擇的是方法二:
詳細內容這一篇想要紀錄的是在訓練 YOLO 即時影像辨識系統會用到的標記技術 LabelImg,這一篇主要是紀錄並且協助檸檬爸釐清如何安裝 LabelImg 程式。圖像標記的程式可以下載 LabelImg (https://github.com/tzutalin/labelImg) ,裡面有安裝的說明,本篇使用的是 Mac+VirtualEnv 的安裝方法。
詳細內容今天發現網站掛掉了,找到以下的錯誤訊息。看起來是主要是權限的問題,解決方法是透過以下的指令開放 php-cgi 程式的執行權限:PS: 這邊值得一提的是以上的錯誤資訊要去哪裡找到這個 Internal Server 500 Error 的訊息!以上的錯誤訊息可以到 /usr/local/apache/domlogs 裡面去尋找以下格式的紀錄檔 x.error.log
詳細內容在管理 MySQL 的時候需要慎重地管理權限,一般來說管理與查看 MySQL 資料庫有三個辦法:1. 使用 root 從 localhost 也就是從伺服器端登入。2. 使用 phpmyadmin 登入。3. 使用其他資料庫軟體 (例如 SQLDeveloper) 登入。這三個管理辦法卻需要相對應的權限,本篇想要總結一些有用的 MySQL 指令充分管理 MySQL 的權限,方法一通常在資料庫生成的時候就會啟動。
詳細內容檸檬爸在開發 PHP 網站的時候有運用到 MySQL 資料庫,由於特殊的應用需求,在某些表格的結構中需要用到 utf16_unicode_ci 的編碼。但在利用某些 PHP framework 例如 (CodeIgnitor) 對資料庫進行讀寫的時候由於 character-set 預設為 utf8 所以會出現亂碼的情況,本篇想要介紹遇到此依情況時可能的解決方法。
詳細內容在開始做大數據的專案的時候通常都會遇到這個問題,要先把資料送到 Hdfs 上之後,資料才有可能被 Spark 等程式使用,一般來說傳送檔案到 Hdfs 可以利用以下方法,EMS/RabbitMQ, Knox Server, FTR 或是 Kafka 等等,常見的做法是透過 Knox 伺服器,由於 Hdfs 的群集是由多個 NameNode 與多個 DataNode 組成,最直接的做法是產生一個 FileSystem 直接指向 Hdfs 而不是透過 Knox,本篇要呈現如何不透過 Knox 向 Hdfs 傳送資料!
詳細內容檸檬爸有機會參加 BCG Gamma Machine Learning Engineer 的面試測驗,到達第三關之後沒有順利完成測驗,所以利用這一篇的機會做一個整理,BCG Gamma 的第三關機考進行的方式是遠端有一個工程師出題目考你,你直接在電腦前面作答並且跟他討論。
詳細內容當我們下指令詢問 Hive 的資料庫的時候,在比較進階的情況中,常常會遇到一些複雜的資料結構(struct),例如 array, map, array
本篇要介紹的是 Django 這一個網頁的 Framework,如果你想要用 Python 來寫網頁的話,這是一個很好的架構!由於 Python 已經是數一數二常用的語言了,如果可以使用 Python 來撰寫網站相對於 PHP,可以比較有架構去建立自己的網站,連結展示很多利用 Django 撰寫出來的網站。
詳細內容