[Django] Launch WSGI in Apache Server
Django 是一個以 Python 為基底開發網站服務的框架,近年來越來越多開發人員使用 Python 語言,所以要切入網站或者是 API 的開發,Django 會是一個很好的選擇,之前檸檬爸初學 Django 寫過一篇初淺的介紹文,後來,真正在進入 Production 階段的時候遇到一些問題,本篇紀錄在部署 Django 到 Apache Server 上的時候遇到的挑戰。
詳細內容想方涉法, France, Taiwan, Health, Information Technology
Django 是一個以 Python 為基底開發網站服務的框架,近年來越來越多開發人員使用 Python 語言,所以要切入網站或者是 API 的開發,Django 會是一個很好的選擇,之前檸檬爸初學 Django 寫過一篇初淺的介紹文,後來,真正在進入 Production 階段的時候遇到一些問題,本篇紀錄在部署 Django 到 Apache Server 上的時候遇到的挑戰。
詳細內容擁有一個自己的 Hive Metastore 的好處是方便管理自己的資料,利用 Hive Metastore 可以把資料表與大數據平台上面的資料關連起來。Hive Metastore 可以部署在不同的資料庫上面,例如 MySQL 或是 Microsoft SQL Database。
詳細內容在開發 Spark 與 Deltalake 的應用的時候,需要建立很多的 Table 與 Database 等資源,這些 Table 的資源究竟是怎麼管理的?就是 Hive Metastore 的角色,我們在很自然使用 Spark SQL 的時候,是否真正了解背後發生了什麼事情?本篇我們紀錄如何在 Databricks 上面使用客製化的 Hive Metastore。
詳細內容最近在學習有關 Spark 跑在 GPU 上面的新技術 (Rapid) 本篇記錄一些有用的學習資源,最直接的就是看 Rapids 的 Github。但是直接看 Code 的缺點就是一下子太多資訊,所以如果能夠配合著一些概念性的影片介紹就能夠很快的了解 Rapids 的架構。
詳細內容檸檬爸在開發 Spark, Java, Scala 程式的時候很常遇到 NoSuchMethodError/ClassNotFound 這兩個錯誤,通常出現這兩個錯誤訊息的時候,主要原因是因為 Java Package 的 Dependency Conflict,在開發 Spark 的應用的時候究竟要怎麽去處理會比較好?本篇想要紀錄幾個常用的解法,包含Java 指令, JD-GUI 與 Maven Dependency:Tree 的介紹。
詳細內容前幾篇記錄了有關 K8S 與 Spark 的應用與一些 K8S 的常用指令,最近需要研究如何把 NFS 掛載上 K8S 裡面的 Pod,最主要的目的是要模擬出一個封閉的運算環境,在一個封閉的伺服器群集裡面,最好的分享檔案的方式就是利用像是 NAS 或是 NFS 等等的服務,本篇記錄一些在 Azure 環境裡面創造出 NFS 服務給 Kubernetes 使用遇到的一些挑戰與經驗。
詳細內容由於最近需要通過 Microsoft Azure 的認證,所以持續更新這一篇文章記錄一下自己通過 Azure 認證的一些資料,可以到微軟的官網上面查詢目前擁有的認證列表。本篇記錄一下 Data Engineer Associate 與 Solution Architect Expert 這兩個角色的認證內容。
詳細內容在使用 Django Rest Framework 開發的時候出現 SynchronousOnlyOperation 的錯誤,本篇展示一個範例紀錄筆者使用 sync_to_async 的解決方法,一開始看 sync_to_async 說明的時候並不好理解要怎麼使用,參考範例可以比較容易了解,關於 django 的一些基本介紹可以參考 [Django] 用 Python 寫網頁?
詳細內容使用 Spark/Hadoop 生態系這麼久之後,最近才開始來研究 Hadoop 的 checksum 機制是怎麼運作的?
詳細內容最近在研究如何在 K8S 上面跑一個 On-Demand 的 Spark Cluster 服務,基本上有兩條路可以走,一條是利用 k8s 的 Deployment 來自建 Spark Cluster,另外一條路則是利用 Kubernetes 既有與 Spark 對接的介面 (這邊是利用 spark-submit) 來實作,概念上就是直接執行一個類似下方的指令,所以想要擁有一個 On-Demand Spark Cluster on AKS 這兩種方法個有什麼優劣?
詳細內容