<div id="readability-page-1" class="page">





<div id="gpu-support" hidden="">


</div>
<nav id="global-navigation">
<div hidden="">
<span>이 영역을 누르면 첫 페이지로 이동</span>
</div>
<div>
<a href="/" role="button" aria-hidden="false">생각나는대로 적어본다. 블로그의 첫 페이지로 이동</a>
<div aria-hidden="true">
<p aria-hidden="true">생각나는대로 적어본다.</p>

</div>
<div>
<ul>
<li></li>
</ul>
</div>
<div>
페이지 맨 위로 올라가기
<p aria-hidden="true">생각나는대로 적어본다.</p>
<span aria-hidden="true"></span>

</div>

</div>
</nav>
<main id="wrap" aria-hidden="false">

<div>






<article>
<header id="global-header">

<div aria-hidden="true">

<div>




</div>
</div>

<div>
<h2>Medallion 아키텍처란?</h2>
<ul>
<li role="text" aria-label="2021년 12월 12일 13시 23분에 작성된 글."><time datetime="2021-12-12T13:23">2021.12.12 13:23</time></li>
<li><a href="/category/%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D" aria-label="프로그래밍">프로그래밍</a></li>
</ul>
</div>


</header>
<div id="article"><p data-ke-size="size16">Medallion 아키텍처란 Databricks에서 제시하는 데이터 파이프라인 모델로 Delta Lake와 함께&nbsp;<a href="https://ko.wikipedia.org/wiki/%EB%B3%80%EA%B2%BD_%EB%8D%B0%EC%9D%B4%ED%84%B0_%EC%BA%A1%EC%B2%98" target="_blank" rel="noopener"> CDC(Change Data Capture)</a> 방식의 데이터 웨어하우스 구성 방법을 제시합니다. <a href="https://docs.databricks.com/delta/delta-change-data-feed.html" target="_blank" rel="noopener">CDF(Change Data Function)</a> 기능을 사용하면 더욱 쉽게 구현 가능합니다.</p>
<figure data-origin-width="960" data-origin-height="540" data-ke-mobilestyle="alignCenter"><span data-url="https://blog.kakaocdn.net/dn/FcrFM/btrnBMfnLHi/pB0XBpx91R9LvrI5dvk5m0/img.jpg" data-lightbox="lightbox" data-alt="출처:&amp;nbsp;https://databricks.com/notebooks/delta-lake-cdf.html"><img src="https://blog.kakaocdn.net/dn/FcrFM/btrnBMfnLHi/pB0XBpx91R9LvrI5dvk5m0/img.jpg" data-filename="medallion-architecture.jpeg" data-ke-mobilestyle="alignCenter"></span><figcaption>출처:&nbsp;https://databricks.com/notebooks/delta-lake-cdf.html</figcaption></figure>
<p data-ke-size="size16">Medallion 아키텍처는 아래의 세 가지 레이어를 가지고 있습니다.</p>
<ol data-ke-list-type="decimal">
<li>Bronze: Raw Ingestion Table</li>
<li>Silver: Refined Table</li>
<li>Gold: Feature/Aggregation Table</li>
</ol>
<h3 data-ke-size="size23">BRONZE</h3>
<p data-ke-size="size16">외부 소스(External feeds, CDC output, Extracts)로부터 Raw 데이터를 가져와서 Bronze 테이블로 적재합니다. Delta 테이블이기 때문에 스키마 변경에 유연하게 대응할 수 있고 CDF 기능을 활용하면 증분 데이터에 대한 히스토리 정보도 확인 가능합니다.</p>
<h3 data-ke-size="size23">SILVER</h3>
<p data-ke-size="size16">Bronze 테이블로부터 특정 필드값에 대한 filter를 통해 새로운 Silver 테이블에 적재합니다. Schema가 고정된 정형 데이터를 가지고 있기 때문에 머신러닝에 활용 가능합니다.</p>
<h3 data-ke-size="size23">GOLD</h3>
<p data-ke-size="size16">Silver 테이블로부터 Aggregation을 수행하여 Gole 테이블에 적재합니다. Business Level로 정재된 데이터를 포함하기 때문에 BI(Business Intelligence) 도구와 연동하여 시각화에 활용 가능합니다.</p>
<h3 data-ke-size="size23">참고</h3>
<ul data-ke-list-type="disc">
<li><a href="https://databricks.com/blog/2021/06/09/how-to-simplify-cdc-with-delta-lakes-change-data-feed.html" target="_blank" rel="noopener">https://databricks.com/blog/2021/06/09/how-to-simplify-cdc-with-delta-lakes-change-data-feed.html</a></li>
<li><a href="https://www.slideshare.net/databricks/change-data-feed-in-delta" target="_blank" rel="noopener">https://www.slideshare.net/databricks/change-data-feed-in-delta</a></li>
<li><a href="https://docs.databricks.com/delta/delta-change-data-feed.html" target="_blank" rel="noopener">https://docs.databricks.com/delta/delta-change-data-feed.html</a></li>
<li><a href="https://databricks.com/notebooks/delta-lake-cdf.html" target="_blank" rel="noopener">https://databricks.com/notebooks/delta-lake-cdf.html</a></li>
<li><a href="https://docs.microsoft.com/en-us/azure/databricks/delta/delta-change-data-feed" target="_blank" rel="noopener">https://docs.microsoft.com/en-us/azure/databricks/delta/delta-change-data-feed</a></li>
</ul><div>
    <div>
        



        
                
    </div>
    
    <div data-ccl-type="3">
    <a href="https://creativecommons.org/licenses/by/4.0/deed.ko" target="_blank">
        <span>
            <span>저작자표시</span>        </span>
    </a>
</div>
    
</div></div>

<div><a href="/tag/CDC" rel="tag">CDC</a>,
<a href="/tag/Databricks" rel="tag">Databricks</a>,
<a href="/tag/Medallion%20Architecture" rel="tag">Medallion Architecture</a></div>


<nav>
<ul>
<li></li>
<li></li>
<li></li>
</ul>
</nav>
<div>
<section id="comments" hidden="">
<h2>댓글</h2>
<div id="entry38Comment">

<form method="post" action="/comment/add/38" onsubmit="return false">
<div>
<div>
<label for="comment-textarea" aria-hidden="true"></label>


<fieldset autocomplete="off" required="">
<legend>방문자 정보</legend>
<div>

<label for="comment-username-field" autocomplete="off">이름</label>
</div>
<div>

<label for="comment-password-field" autocomplete="off">암호</label>
</div>
</fieldset>

<div>

<label for="protect-comment" role="checkbox">운영자에게만 공개</label>
</div>


</div>

</div>
</form>
</div>
</section>
<section id="export" hidden="">
<h2>이 글 공유하기</h2>
<div>
<ul>
<li>
<span><span>구독하기</span></span>
<div hidden="">
<p>구독하기</p>
</div>
</li>
<li>
카카오톡
<div hidden="">
<p>카카오톡</p>
</div>
</li>
<li>
라인
<div hidden="">
<p>라인</p>
</div>
</li>
<li>
트위터
<div hidden="">
<p>트위터</p>
</div>
</li>
<li>
Facebook
<div hidden="">
<p>Facebook</p>
</div>
</li>
<li>
카카오스토리
<div hidden="">
<p>카카오스토리</p>
</div>
</li>
<li>
밴드
<div hidden="">
<p>밴드</p>
</div>
</li>
<li>
네이버 블로그
<div hidden="">
<p>네이버 블로그</p>
</div>
</li>
<li>
Pocket
<div hidden="">
<p>Pocket</p>
</div>
</li>
<li>
Evernote
<div hidden="">
<p>Evernote</p>
</div>
</li>
</ul>
</div>
</section>
<section id="related" hidden="">
<h2>다른 글</h2>
<div>
<ul>


<li>
<div>
<a href="/35?category=784070" role="button">크롬 확장 프로그램 제작 맛보기 - 날아다니는 밈</a>
<div hidden="">
<div>
<h2>크롬 확장 프로그램 제작 맛보기 - 날아다니는 밈</h2>
<span>2021.11.21</span>

</div>

</div>
</div>
</li>

<li>
<div>
<a href="/36?category=784070" role="button">하이라이트 링크 복사 원리를 파해쳐보자 : Text Fragment</a>
<div hidden="">
<div>
<h2>하이라이트 링크 복사 원리를 파해쳐보자 : Text Fragment</h2>
<span>2021.11.19</span>

</div>

</div>
</div>
</li>

<li>
<div>
<a href="/34?category=784070" role="button">connect-redis 코드 분석 및 'toString' of null 에러 해결 방법</a>
<div hidden="">
<div>
<h2>connect-redis 코드 분석 및 'toString' of null 에러 해결 방법</h2>
<span>2021.10.09</span>

</div>

</div>
</div>
</li>

<li>
<div>
<a href="/30?category=784070" role="button">ES6 문법 + 활용 패턴 살펴보기</a>
<div hidden="">
<div>
<h2>ES6 문법 + 활용 패턴 살펴보기</h2>
<span>2021.02.13</span>

</div>

</div>
</div>
</li>


<li aria-hidden="true"></li>
<li aria-hidden="true"></li>
<li aria-hidden="true"></li>
<li aria-hidden="true"></li>
</ul>
<div>
<a href="/category/%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D" role="button">다른 글 더 둘러보기</a>
</div>
</div>
</section>
</div>


















</article>


</div>
</main>

<nav id="pagination">
<div>
<ul>
<li>
<a role="button">최신</a>
</li>
<li>
<ul>

<li>
<a role="button"><span>1</span></a>
</li>

<li>
<a href="/35" role="button"><span>2</span></a>
</li>

<li>
<a href="/36" role="button"><span>3</span></a>
</li>

<li>
<a href="/34" role="button"><span>4</span></a>
</li>

<li>
<a href="/33" role="button"><span>5</span></a>
</li>

<li>
<a role="button"><span>···</span></a>
</li>

<li>
<a href="/2" role="button"><span>33</span></a>
</li>

</ul>
</li>
<li>
<a href="/35" role="button">다음</a>
</li>
</ul>
</div>
</nav>











	            
            
            
                        
                        <div>
                                <h2>티스토리툴바</h2>
                                
                            </div>        
        
</div>

생각나는대로 적어본다.

Medallion 아키텍처란 Databricks에서 제시하는 데이터 파이프라인 모델로 Delta Lake와 함께  CDC(Change Data Capture) 방식의 데이터 웨어하우스 구성 방법을 제시합니다. CDF(Change Data Function) 기능을 사용하면 더욱 쉽게 구현 가능합니다.
Medallion 아키텍처는 아래의 세 가지 레이어를 가지고 있습니다.
Bronze: Raw Ingestion Table
Silver: Refined Table
Gold: Feature/Aggregation Table
BRONZE
외부 소스(External feeds, CDC output, Extracts)로부터 Raw 데이터를 가져와서 Bronze 테이블로 적재합니다. Delta 테이블이기 때문에 스키마 변경에 유연하게 대응할 수 있고 CDF 기능을 활용하면 증분 데이터에 대한 히스토리 정보도 확인 가능합니다.
SILVER
Bronze 테이블로부터 특정 필드값에 대한 filter를 통해 새로운 Silver 테이블에 적재합니다. Schema가 고정된 정형 데이터를 가지고 있기 때문에 머신러닝에 활용 가능합니다.
GOLD
Silver 테이블로부터 Aggregation을 수행하여 Gole 테이블에 적재합니다. Business Level로 정재된 데이터를 포함하기 때문에 BI(Business Intelligence) 도구와 연동하여 시각화에 활용 가능합니다.
참고
https://databricks.com/blog/2021/06/09/how-to-simplify-cdc-with-delta-lakes-change-data-feed.html
https://www.slideshare.net/databricks/change-data-feed-in-delta
https://docs.databricks.com/delta/delta-change-data-feed.html
https://databricks.com/notebooks/delta-lake-cdf.html
https://docs.microsoft.com/en-us/azure/databricks/delta/delta-change-data-feed