<div id="readability-page-1" class="page"><div id="kakaoContent">

 <div>
 <a href="/m/category/IT%20%EC%A7%80%EC%8B%9D">IT 지식</a><h2>데이터 엔지니어란?</h2>
 <cite>
 chancethecoder
 </cite>
 </div>
 <time>2019. 9. 18. 18:59</time>
 
 
 <a href="#comment" onclick="Utils.smoothScroll(this);return false">
 
 </a>
 
 
 
 
 
 
 
 

 
 <div>
 <blockquote data-ke-style="style2">요약: 데이터 엔지니어는 데이터를 활용할 수 있게끔 전처리를 수행하는 사람들입니다.</blockquote>
머신러닝과 빅데이터 분야가 알려지기 시작하면서 다양한 용어가 정립되었으며, 그 중 하나가 데이터 엔지니어입니다. 데이터 엔지니어의 역할은 무엇일까요? 이를 이해하기 위해서는 빅데이터에 대해 짚고 넘어가야 합니다.
<h3 data-ke-size="size23">빅데이터</h3>
데이터 엔지니어는 말 그대로 데이터를 다룹니다. 그런데, 여기서 말하는 데이터는 그냥 데이터가 아니라&nbsp;<a href="https://ko.wikipedia.org/wiki/%EB%B9%85_%EB%8D%B0%EC%9D%B4%ED%84%B0" target="_blank" rel="noopener">빅데이터</a>입니다.
빅데이터의 특징은 규모가 기하급수적으로 증가한다는 점인데요, 이를 전통적인 데이터베이스 저장 방식으로 처리하는것은 매우 어렵습니다. 그래서 이를 유연하고 안정적이며 값싼 비용으로 처리하기 위한 기술들이 출현하게 됩니다. 현재 전 세계에서 가장 많이 사용되는 빅데이터 저장 기술은 <a href="https://hadoop.apache.org/">하둡 파일시스템(HDFS)</a>입니다. 많은 기업들은 하둡 파일시스템을 이용해 데이터 저장소를 구축하고 데이터를 저장하며 각자의 목적에 맞게 데이터를 활용하고 있습니다.
<h3 data-ke-size="size23">ETL (Extract, Transform, Load)</h3>
데이터라고 해서 다 같은 데이터일까요? 그렇지는 않습니다. 최초 어딘가에서 생성된 원시 데이터가 있을 거고, 그 데이터를 활용하기 쉽도록 정리한 가공 데이터가 있을 겁니다.&nbsp;즉, 데이터에도&nbsp;티어가 존재하고, 그에 따라 활용도가 나뉜다고 볼 수 있습니다. 원시 데이터, 혹은 비정형 데이터 자체는 활용 데이터로써의 가치가 적기 때문에, 이를 활용 가능한 데이터로 가공해주는 작업이 필요합니다.
원시 데이터를 가공 데이터로 만드는 작업은 수집(Extract),&nbsp;가공(Transform),&nbsp;적재(Load)의 앞 이니셜을 따서 ETL이라고 부르는 작업으로 통칭합니다. 데이터 엔지니어의 가장 중요한 역할이 바로 ETL입니다. 이 때 데이터 엔지니어들은 빅데이터의 ETL 작업을 위해 다양한 도구들을 사용하게 되는데요, 그 중 대표적인 예가 <a href="https://spark.apache.org/" target="_blank" rel="noopener">Spark</a>, <a href="https://airflow.apache.org/" target="_blank" rel="noopener">Airflow</a>, <a href="https://nifi.apache.org/" target="_blank" rel="noopener">Nifi</a> 등이 있습니다. 이를 더욱 세밀하게 뜯어보면 아래와 같습니다.
<ul data-ke-list-type="disc">
<li>이기종 데이터 소스(서버, 데이터베이스, 디바이스, 하둡 등)에서 배치 / 스트리밍 데이터 수집</li>
<li>고성능 분산처리 도구를 사용해 수집한 데이터를 가공하여 분석 및 사업 요건에 맞추기&nbsp;</li>
<li>전처리 데이터를 저장소에 적재</li>
</ul>
 
 
											
					
 
 
 </div>

 
 
 
 
 
 


 

 
 
 
 </div></div>

생각나는대로 적어본다.

요약: 데이터 엔지니어는 데이터를 활용할 수 있게끔 전처리를 수행하는 사람들입니다.
머신러닝과 빅데이터 분야가 알려지기 시작하면서 다양한 용어가 정립되었으며, 그 중 하나가 데이터 엔지니어입니다. 데이터 엔지니어의 역할은 무엇일까요? 이를 이해하기 위해서는 빅데이터에 대해 짚고 넘어가야 합니다.
빅데이터
데이터 엔지니어는 말 그대로 데이터를 다룹니다. 그런데, 여기서 말하는 데이터는 그냥 데이터가 아니라 빅데이터입니다.
빅데이터의 특징은 규모가 기하급수적으로 증가한다는 점인데요, 이를 전통적인 데이터베이스 저장 방식으로 처리하는것은 매우 어렵습니다. 그래서 이를 유연하고 안정적이며 값싼 비용으로 처리하기 위한 기술들이 출현하게 됩니다. 현재 전 세계에서 가장 많이 사용되는 빅데이터 저장 기술은 하둡 파일시스템(HDFS)입니다. 많은 기업들은 하둡 파일시스템을 이용해 데이터 저장소를 구축하고 데이터를 저장하며 각자의 목적에 맞게 데이터를 활용하고 있습니다.
ETL (Extract, Transform, Load)
데이터라고 해서 다 같은 데이터일까요? 그렇지는 않습니다. 최초 어딘가에서 생성된 원시 데이터가 있을 거고, 그 데이터를 활용하기 쉽도록 정리한 가공 데이터가 있을 겁니다. 즉, 데이터에도 티어가 존재하고, 그에 따라 활용도가 나뉜다고 볼 수 있습니다. 원시 데이터, 혹은 비정형 데이터 자체는 활용 데이터로써의 가치가 적기 때문에, 이를 활용 가능한 데이터로 가공해주는 작업이 필요합니다.
원시 데이터를 가공 데이터로 만드는 작업은 수집(Extract), 가공(Transform), 적재(Load)의 앞 이니셜을 따서 ETL이라고 부르는 작업으로 통칭합니다. 데이터 엔지니어의 가장 중요한 역할이 바로 ETL입니다. 이 때 데이터 엔지니어들은 빅데이터의 ETL 작업을 위해 다양한 도구들을 사용하게 되는데요, 그 중 대표적인 예가 Spark, Airflow, Nifi 등이 있습니다. 이를 더욱 세밀하게 뜯어보면 아래와 같습니다.
이기종 데이터 소스(서버, 데이터베이스, 디바이스, 하둡 등)에서 배치 / 스트리밍 데이터 수집
고성능 분산처리 도구를 사용해 수집한 데이터를 가공하여 분석 및 사업 요건에 맞추기 
전처리 데이터를 저장소에 적재

데이터 엔지니어란?

댓글