Author: 檸檬爸

[Hive] Hive Server with Spark Standalone

在上一篇我們介紹了如何利用 MySQL 服務建立屬於自己的 Hive Metastore 資料庫,並且利用 Spark SQL 的方式對 Metastore 裡面的資料做存取,根據上方圖示,我們可以理解除了 Spark 可以對 Hive Metastore 做存儲之外,我們也可以利用 Hive, Impala, Presto, Apache Hudi 甚至是最近出來的 Apache Superset 來做資料串接,本篇想要紀錄並且比較這幾種技術的優缺點是什麼?

詳細內容

[Azure] Remote Desktop 遠端桌面

最近需要用到 VPN,因為某些網站有擋台灣的 IP,所以有需要遠端桌面的需求,Microsoft Azure 的 VM 可以開在世界不同的資料中心裡面,本篇紀錄一下實作在 Azure 上開出一台 Ubuntu 的 VM 安裝遠端桌面伺服器,然後利用 Microsoft Remote Desktop 遠端登入進去操作,實作方法參考的是技術文件 Install and configure xrdp to use Remote Desktop with Ubuntu。

詳細內容
WSGI_django_deployment

[Django] Launch WSGI in Apache Server

Django 是一個以 Python 為基底開發網站服務的框架,近年來越來越多開發人員使用 Python 語言,所以要切入網站或者是 API 的開發,Django 會是一個很好的選擇,之前檸檬爸初學 Django 寫過一篇初淺的介紹文,後來,真正在進入 Production 階段的時候遇到一些問題,本篇紀錄在部署 Django 到 Apache Server 上的時候遇到的挑戰。

詳細內容

[Hive] Metastore in Azure Databricks

在開發 Spark 與 Deltalake 的應用的時候,需要建立很多的 Table 與 Database 等資源,這些 Table 的資源究竟是怎麼管理的?就是 Hive Metastore 的角色,我們在很自然使用 Spark SQL 的時候,是否真正了解背後發生了什麼事情?本篇我們紀錄如何在 Databricks 上面使用客製化的 Hive Metastore。

詳細內容

[租房] 法國打掃阿姨

經過一個多月的整理之後,我們終於要開始出租我們的房子了,由於是一間比較大的 4 pièces 所以廚房與客廳與其中一間浴室是共用的關係,我們決定要請一個打掃阿姨來幫忙打掃,我們先接觸的是一個大陸的阿姨楊姐,她會到府清掃然後是鐘點計費,一個小時 12 歐元的費用。

詳細內容