<div id="readability-page-1" class="page"><section>
			
			<p>
				<h2>Theory, Analysis</h2>
				<h2>Created 2023-07-22 / Updated 2023-07-22</h2>
				<h3>AWS Spark on EKS</h3>
			</p>

			
			<article>
				
				<p>AWS EKS Cluster에서 Spark Application 동작을 분석한다. AWS EKS Cluster에서 Spark Application을 동작시키기 위해서는 EMR on EKS에서 제공하는 StartJobRun API를 이용하는 방식과, Spark에서 제공하는 spark-submit CLI를 이용하는 방식 2가지가 존재한다.</p>

<h3 id="1-startjobrun-api">1. StartJobRun API</h3>

<p><img src="https://ssup2.github.io/images/theory_analysis/AWS_Spark_on_EKS/Spark_EKS_Architecture_StartJobRun_API.PNG" alt="[그림 1] Spark on EKS Architecture with StartJobRun API"></p>

<h3 id="2-spark-submit-cli">2. spark-submit CLI</h3>

<h3 id="3-참조">3. 참조</h3>

				
				
					
					<ins data-ad-client="ca-pub-2913607840371995" data-ad-slot="7197718666" data-ad-format="auto"></ins>
					
				

				
				
					
				
			</article>
		</section></div>

Ssup2 Blog

AWS EKS Cluster에서 Spark Application 동작을 분석한다. AWS EKS Cluster에서 Spark Application을 동작시키기 위해서는 EMR on EKS에서 제공하는 StartJobRun API를 이용하는 방식과, Spark에서 제공하는 spark-submit CLI를 이용하는 방식 2가지가 존재한다.
1. StartJobRun API
2. spark-submit CLI
3. 참조

AWS Spark on EKS

댓글