<div id="readability-page-1" class="page"><div id="post-4502">
        <h2>개요</h2>
<p>Athena에 Table Format으로 <code>iceberg</code>를 적용하기 위해 조사한 내용을 정리해둔다.</p>
<h2>주요 특징</h2>
<ul>
<li>schema evolution
<ul>
<li>스키마 add, drop, update, rename 가능</li>
</ul>
</li>
<li>hidden partitioning
<ul>
<li>hive의 명시적 partitioning대비 데이터 볼륨, 쿼리 패턴에 따라 파티션을 자동으로 지정하고 진화하게 운영됨</li>
<li>사견 : 데이터 볼륨에 따라 파티션이 자동 변경되는것은 장점일수도 있는데 검증이 필요할듯</li>
</ul>
</li>
<li>partition layout evolution
<ul>
<li>위와 이어지는 얘기인데 파티션이 데이터 크기, 쿼리 패턴에 의해 계속 바뀜,</li>
<li>사용자는 write 쿼리를 제작성 할 필요는 없음, 특정 시점에 write split전략이 바뀌면 바꾸어 저장함</li>
<li>rewrite partition 기능을 통해 전체 데이터 rewrite없이 re-partitioning도 가능</li>
<li>sort order 또한 evolution됨</li>
</ul>
</li>
<li>time travle
<ul>
<li>특정 시점의 특정 스키마로 쿼리를 날릴수 있는 기능</li>
<li>사견 : 필자는 별 필요성을 못 느낌</li>
</ul>
</li>
</ul>
<h2>신뢰성과 성능</h2>
<ul>
<li>scanning planning
<ul>
<li>쿼리에서 필요한 파일만 미리 찾는것</li>
<li>메타데이터 pruning과 data filtering을 같이 진행함</li>
</ul>
</li>
<li>advanced filtering
<ul>
<li>manifest filtering
<ul>
<li>manifest 파일 구조는 manifest file list와 manifest files로 구성됨
<ul>
<li>manifest file list : 각 파티션의 값 range별로 manifest 파일 리스트 관리, expire된 manifest 정보도 파악</li>
<li>manifest files : 파티션 데이터와 칼럼별 통계를 가짐</li>
</ul>
</li>
</ul>
</li>
<li>data filtering
<ul>
<li>manifelst file에서는 칼럼 레벨로 null count, lower bounds, upper bounds 등을 통해 쿼리에 필요한 파일을 선별한다.</li>
</ul>
</li>
</ul>
</li>
</ul>
<h2>참고자료</h2>
<ul>
<li><a href="https://conferences.oreilly.com/strata/strata-ny-2018/cdn.oreillystatic.com/en/assets/1/event/278/Introducing%20Iceberg_%20Tables%20designed%20for%20object%20stores%20Presentation.pdf">https://conferences.oreilly.com/strata/strata-ny-2018/cdn.oreillystatic.com/en/assets/1/event/278/Introducing Iceberg_ Tables designed for object stores Presentation.pdf</a></li>
</ul>
 
    </div></div>

KWANGSIK LEE’s log

개요 Athena에 Table Format으로 iceberg를 적용하기 위해 조사한 내용을 정리해둔다. 주요 특징 schema evolution 스키마 add, drop, update, rename 가능 hidden partitioning hive의 명시적 partitioning대비 데이터 볼륨, 쿼리 패턴에 따라 파티션을 자동으로 지정하고 진화하게 운영됨 사견 : 데이터 볼륨에 따라 파티션이 자동 변경되는것은 장점일수도 있는데 검증이 필요할듯 partition layout evolution 위와 이어지는 얘기인데 파티션이 데이터 […]

apache iceberg 특징 정리

댓글