1.0想方涉法 - 量瓶外的天空 M-Y-Oceanehttps://myoceane.fr檸檬爸https://myoceane.fr/index.php/author/johnny5584767gmail-com/[BigData] 客製化 Apache Spark 在 ARM64 架構上 - 想方涉法 - 量瓶外的天空 M-Y-Oceanerich600338<blockquote class="wp-embedded-content" data-secret="ORcbkAmN3J"><a href="https://myoceane.fr/index.php/bigdata-customize-spark-distribution-for-arm64/">[BigData] 客製化 Apache Spark 在 ARM64 架構上</a></blockquote><iframe sandbox="allow-scripts" security="restricted" src="https://myoceane.fr/index.php/bigdata-customize-spark-distribution-for-arm64/embed/#?secret=ORcbkAmN3J" width="600" height="338" title="“[BigData] 客製化 Apache Spark 在 ARM64 架構上” — 想方涉法 - 量瓶外的天空 M-Y-Oceane" data-secret="ORcbkAmN3J" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" class="wp-embedded-content"></iframe><script type="text/javascript">
/* <![CDATA[ */
/*! This file is auto-generated */
!function(d,l){"use strict";l.querySelector&&d.addEventListener&&"undefined"!=typeof URL&&(d.wp=d.wp||{},d.wp.receiveEmbedMessage||(d.wp.receiveEmbedMessage=function(e){var t=e.data;if((t||t.secret||t.message||t.value)&&!/[^a-zA-Z0-9]/.test(t.secret)){for(var s,r,n,a=l.querySelectorAll('iframe[data-secret="'+t.secret+'"]'),o=l.querySelectorAll('blockquote[data-secret="'+t.secret+'"]'),c=new RegExp("^https?:$","i"),i=0;i<o.length;i++)o[i].style.display="none";for(i=0;i<a.length;i++)s=a[i],e.source===s.contentWindow&&(s.removeAttribute("style"),"height"===t.message?(1e3<(r=parseInt(t.value,10))?r=1e3:~~r<200&&(r=200),s.height=r):"link"===t.message&&(r=new URL(s.getAttribute("src")),n=new URL(t.value),c.test(n.protocol))&&n.host===r.host&&l.activeElement===s&&(d.top.location.href=t.value))}},d.addEventListener("message",d.wp.receiveEmbedMessage,!1),l.addEventListener("DOMContentLoaded",function(){for(var e,t,s=l.querySelectorAll("iframe.wp-embedded-content"),r=0;r<s.length;r++)(t=(e=s[r]).getAttribute("data-secret"))||(t=Math.random().toString(36).substring(2,12),e.src+="#?secret="+t,e.setAttribute("data-secret",t)),e.contentWindow.postMessage({message:"ready",secret:t},"*")},!1)))}(window,document);
/* ]]> */
</script>
https://myoceane.fr/wp-content/uploads/2020/06/Apache_Spark_logo.svg_.png1200625在創建以 Spark 為基礎的應用程式的時候，基本上都會直接下載 Spark 官網打包好的程式碼，在官網上的 Spark 是以 Intel x86 架構為主的，由於 Java 並沒有架構上的差異，所以之前在 Spark K8S 並沒有遇到一樣的問題，但是在一次實務上驅動 Spark Standalone 的時候遇到以下的錯誤訊息，主要是跟 External Shuffle Service 有關，這個錯誤並不會出現在以 Spark K8S 為方式驅動的應用，但是 External Shuffle Manager 會遇到，所以筆者才會需要利用 Spark 提供的 make-distribution.sh 檔案去重新打包 Apache Spark 在 ARM64 架構上。