<div id="readability-page-1" class="page"><div id="kakaoContent">

                <div>
                                            <p><a href="/m/category/Data">Data</a></p><h2>맵리듀스의 제약과 Apache Tez</h2>
                    <p><cite>
                        <span>Kaden Sungbin Cho Kaden Sungbin Cho</span>
                    </cite>
                </p></div>
                <p><time>2021. 9. 2. 23:04</time>
                    <span>
                        
                                                    <a href="#comment" onclick="Utils.smoothScroll(this);return false">
                                
                            </a>
                        
                                                    <span id="title_daumlike">
                                
                                <span id="mobile-reaction"></span>
                                
                            </span>
                                            </span>
                </p>

                                    
                
                <div>
                    
<h2 data-ke-size="size26"><b>맵리듀스의 제약들</b></h2>
<ul data-ke-list-type="disc">
<li><span>하이 레벨 언어의 부재: 맵리듀스 자체로는 어떠한 하이 레벨 언어와 쿼리 레벨의 최적화를 제공하지 않음. 유저는 맵, 리듀스 함수로 구현해야 함.</span></li>
<li><span>스키마와 인덱스가 없음: 스키마와 인덱스가 없음. MR 잡은 인풋에 대해 작업을 하고 스토리지에 바로 저장할 수 있으나 이러한 부분은 데이터 모델링의 장점을 제외해 버림. 맵리듀스는 인풋을 읽을 때 모든 인풋을 파싱해야하고, 그것을 데이터 프로세싱을 위해 데이터 객체로 변형해야하기에 성능 저하를 발생시킴.</span></li>
<li><span>하나의 고정된 데이터 플로우: 맵리듀스는 간단한 추상화를 통해 사용하기 편하지만, 데이터 플로우가 고정되어 있음. 그러므로, 많은 복잡한 알고리즘은 맵리듀스로 구현하기 어려움. 다수의 인풋을 요구하는 알고리즘의 경우 맵리듀스에서 지원될 수 없음.</span></li>
<li><span><b><span>저효율: 확장성과 fault-tolerance가 주요 목표였기에 맵리듀스는 IO에 최적화 되어 있지 않음. 맵과 리듀스는 blocking 오퍼레이션이라서, 현재 스테이지의 모든 task가 끝나지 않으면 다음 단계로 넘어가지 못함. 또한, block-level 리스타트, 1 to 1 셔플링 전략, 간단한 런타입 스케쥴링도 효율을 낮추고 있음. 맵리듀스는 DBMS가 하는 것처럼 노드 간 데이터 송신을 최적화 하지 않기에 어떠한 경우 DBMS보다 낮은 성능을 보임. </span></b></span></li>
</ul>

<h2 data-ke-size="size26"><b>Apache Tez의 특징</b></h2>

<ul data-ke-list-type="disc">
<li><span>사용자가 컴퓨팅을 DAG로 모델할 수 있도록 함</span></li>
<li><span>DAG 정의를 동적으로 진화시키도록 API를 제공</span></li>
<li><span>확장성 있고 효율적인 구현을 제공함</span></li>
</ul>
<ul data-ke-list-type="disc">
<li><span>실행 성능</span>
<ul data-ke-list-type="disc">
<li><span>맵리듀스보다 빠름</span></li>
<li><span>최적 리소스 사용</span></li>
<li><span>런타입 시 플랜 재설정</span></li>
<li><span>동적 물리 데이터흐름 결정</span></li>
</ul>
</li>
</ul>

<h2 data-ke-size="size26"><b>Hadoop MapReduce vs Apache Tez</b></h2>

<figure width="540" height="278" data-origin-width="656" data-origin-height="338" data-ke-mobilestyle="widthOrigin"><span data-url="https://blog.kakaocdn.net/dn/Lk3jg/btrdVjZSffU/QccSdT0iMsWSxAr9LILOOK/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/Lk3jg/btrdVjZSffU/QccSdT0iMsWSxAr9LILOOK/img.png" width="540" height="278" data-origin-width="656" data-origin-height="338" data-ke-mobilestyle="widthOrigin"></span></figure><figure width="553px;" height="261px;" data-origin-width="1028" data-origin-height="484" data-ke-mobilestyle="widthOrigin"><span data-url="https://blog.kakaocdn.net/dn/HHok8/btrdOnppN5o/Xa9Ki2KiMC8hyJ5fDshKm1/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/HHok8/btrdOnppN5o/Xa9Ki2KiMC8hyJ5fDshKm1/img.png" width="553px;" height="261px;" data-origin-width="1028" data-origin-height="484" data-ke-mobilestyle="widthOrigin"></span></figure>
<ul data-ke-list-type="disc">
<li><span>테즈는 인터랙티브 쿼리 지원</span></li>
<li><span>테즈는 리듀스 작업 전에 언제나 Map을 생성하진 않음</span></li>
<li><span>테즈는 HDFS에 중간 결과물을 write하지 않음</span></li>
<li><span>테즈는 tasks를 적은 수의 잡으로 나누고, 컨테이너 </span>reuse를 사용하여 컨테이너 생성으로 인한 지연을 피함</li>
</ul>
<figure width="581" height="736" data-origin-width="1026" data-origin-height="1298" data-ke-mobilestyle="widthOrigin"><span data-url="https://blog.kakaocdn.net/dn/bvC8m4/btrdOWejQPh/h8aba18rKxMyBOWKYJkkGk/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/bvC8m4/btrdOWejQPh/h8aba18rKxMyBOWKYJkkGk/img.png" width="581" height="736" data-origin-width="1026" data-origin-height="1298" data-ke-mobilestyle="widthOrigin"></span></figure>



<figure width="208px;" height="359px;" data-origin-width="346" data-origin-height="597" data-ke-mobilestyle="widthOrigin"><span data-url="https://blog.kakaocdn.net/dn/uA30J/btrdQBOghtQ/ckJYvGjdnEkvn1mcdeNDW1/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/uA30J/btrdQBOghtQ/ckJYvGjdnEkvn1mcdeNDW1/img.png" width="208px;" height="359px;" data-origin-width="346" data-origin-height="597" data-ke-mobilestyle="widthOrigin"></span></figure>
<p data-ke-size="size16"><b>Reference</b></p>
<p data-ke-size="size16">[1] <span><a href="https://www2.cs.arizona.edu/~bkmoon/papers/sigmodrec11.pdf">https://www2.cs.arizona.edu/~bkmoon/papers/sigmodrec11.pdf</a></span></p>
<p data-ke-size="size16">[2] <b></b><span><a href="https://web.eecs.umich.edu/~mosharaf/Readings/Tez.pdf">https://web.eecs.umich.edu/~mosharaf/Readings/Tez.pdf</a></span></p>

                                                            
                                
											
					
                    
                    
                </div>

                                    
                
                
                                    
                
                


                

                                    
                
                
            </div></div>

Kaden Sungbin Cho

맵리듀스의 제약들
하이 레벨 언어의 부재: 맵리듀스 자체로는 어떠한 하이 레벨 언어와 쿼리 레벨의 최적화를 제공하지 않음. 유저는 맵, 리듀스 함수로 구현해야 함.
스키마와 인덱스가 없음: 스키마와 인덱스가 없음. MR 잡은 인풋에 대해 작업을 하고 스토리지에 바로 저장할 수 있으나 이러한 부분은 데이터 모델링의 장점을 제외해 버림. 맵리듀스는 인풋을 읽을 때 모든 인풋을 파싱해야하고, 그것을 데이터 프로세싱을 위해 데이터 객체로 변형해야하기에 성능 저하를 발생시킴.
하나의 고정된 데이터 플로우: 맵리듀스는 간단한 추상화를 통해 사용하기 편하지만, 데이터 플로우가 고정되어 있음. 그러므로, 많은 복잡한 알고리즘은 맵리듀스로 구현하기 어려움. 다수의 인풋을 요구하는 알고리즘의 경우 맵리듀스에서 지원될 수 없음.
저효율: 확장성과 fault-tolerance가 주요 목표였기에 맵리듀스는 IO에 최적화 되어 있지 않음. 맵과 리듀스는 blocking 오퍼레이션이라서, 현재 스테이지의 모든 task가 끝나지 않으면 다음 단계로 넘어가지 못함. 또한, block-level 리스타트, 1 to 1 셔플링 전략, 간단한 런타입 스케쥴링도 효율을 낮추고 있음. 맵리듀스는 DBMS가 하는 것처럼 노드 간 데이터 송신을 최적화 하지 않기에 어떠한 경우 DBMS보다 낮은 성능을 보임. 
 
Apache Tez의 특징
 
사용자가 컴퓨팅을 DAG로 모델할 수 있도록 함
DAG 정의를 동적으로 진화시키도록 API를 제공
확장성 있고 효율적인 구현을 제공함
실행 성능
맵리듀스보다 빠름
최적 리소스 사용
런타입 시 플랜 재설정
동적 물리 데이터흐름 결정
 
Hadoop MapReduce vs Apache Tez
 
테즈는 인터랙티브 쿼리 지원
테즈는 리듀스 작업 전에 언제나 Map을 생성하진 않음
테즈는 HDFS에 중간 결과물을 write하지 않음
테즈는 tasks를 적은 수의 잡으로 나누고, 컨테이너 reuse를 사용하여 컨테이너 생성으로 인한 지연을 피함
 
 
 
Reference
[1] https://www2.cs.arizona.edu/~bkmoon/papers/sigmodrec11.pdf
[2] https://web.eecs.umich.edu/~mosharaf/Readings/Tez.pdf

맵리듀스의 제약과 Apache Tez

댓글