<div id="readability-page-1" class="page"><section>
			
			

			
			<article>
				
				<p>Hadoop Ecosystem을 간략하게 정리한다.</p>

<h3 id="1-hadoop-ecosystem">1. Hadoop Ecosystem</h3>

<h4 id="11-storage">1.1. Storage</h4>

<p>Storage는 Data를 저장하는 저장소 역할을 수행한다.</p>

<h5 id="111-hadoop-hdfs">1.1.1. Hadoop HDFS</h5>

<p>Hadoop HDFS는 큰 File 저장을 위해서 다수의 Node로 구성된 Distributed Filesystem이다. 고가용성이 특징이며 Seqence Read/Write에 특화되어 있어 Batch Job 수행에 유리한 특징을 갖는다.</p>

<h5 id="112-alluxio">1.1.2. Alluxio</h5>

<p>Alluxio는 Data Orchestration Layer의 역할을 수행하며 다양한 Storage를 원하는 Interface로 접근하도록 도와주는 역할을 수행하며, Data Caching을 통해서 성능을 올려주는 역할을 수행한다. 지원하는 Storage는 Hadoop HDFS, Ceph와 같은 Distributed Storage/Filesystem을 지원하며 AWS S3, GC Storage와 같은 Cloud Storage도 지원한다. 지원하는 Interface에는 Hadoop HDFS, Java File API, POSIX Interface, AWS S3, REST API 등이 존재한다.</p>

<h4 id="12-resource-management">1.2. Resource Management</h4>

<h5 id="121-hadoop-yarn">1.2.1. Hadoop YARN</h5>

<h5 id="122-mesos">1.2.2. Mesos</h5>

<h4 id="13-coordinate--management">1.3. Coordinate &amp; Management</h4>

<h5 id="131-zookeeper">1.3.1. Zookeeper</h5>

<h5 id="132-ambari">1.3.2. Ambari</h5>

<h4 id="14-scheduler">1.4. Scheduler</h4>

<h5 id="141-oozie">1.4.1. ooZiE</h5>

<h5 id="142-airflow">1.4.2. Airflow</h5>

<h4 id="15-in-memory-processing">1.5. In-memory Processing</h4>

<h5 id="151-spark">1.5.1. Spark</h5>

<h5 id="152-ignite">1.5.2. Ignite</h5>

<h4 id="16-stream-processing">1.6. Stream Processing</h4>

<h5 id="161-kafka">1.6.1. Kafka</h5>

<h5 id="162-storm">1.6.2. Storm</h5>

<h5 id="163-flink">1.6.3. Flink</h5>

<h4 id="17-sql-over-hadoop">1.7. SQL Over Hadoop</h4>

<h5 id="171-impala">1.7.1. Impala</h5>

<h5 id="172-drill">1.7.2. Drill</h5>

<h5 id="173-hive">1.7.3. HIVE</h5>

<h4 id="18-nosql-database">1.8. NoSQL Database</h4>

<h5 id="181-hbase">1.8.1. HBase</h5>

<h4 id="19-search-engine">1.9. Search Engine</h4>

<h5 id="191-solr">1.9.1. Solr</h5>

<h4 id="110-data-piping">1.10. Data Piping</h4>

<h5 id="1101-nifi">1.10.1. nifi</h5>

<h5 id="1102-flume">1.10.2. Flume</h5>

<h5 id="1103">1.10.3.</h5>

<h4 id="111-machine-learning">1.11. Machine Learning</h4>

<h5 id="1111-madlib">1.11.1. MADLib</h5>

<h5 id="1112-mahout">1.11.2. mahout</h5>

<h5 id="1113-spark-mllib">1.11.3. Spark MLlib</h5>

<h4 id="112-scripting">1.12. Scripting</h4>

<h5 id="1121-pig">1.12.1. Pig</h5>

<h4 id="113-meta-data-management">1.13. Meta Data Management</h4>

<h5 id="1131-atlas">1.13.1. Atlas</h5>

<h3 id="2-참조">2. 참조</h3>

<ul>
  <li><a href="https://www.cloudduggu.com/hadoop/ecosystem/">https://www.cloudduggu.com/hadoop/ecosystem/</a></li>
  <li>HDFS : <a href="https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html">https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html</a></li>
  <li>Alluxio : <a href="https://www.alluxio.io/">https://www.alluxio.io/</a></li>
  <li>Alluxio : <a href="https://d2.naver.com/helloworld/3863967">https://d2.naver.com/helloworld/3863967</a></li>
</ul>

				
				
					
					<ins data-ad-client="ca-pub-2913607840371995" data-ad-slot="7197718666" data-ad-format="auto"></ins>
					
				

				
				
					
				
			</article>
		</section></div>

Ssup2 Blog

Hadoop Ecosystem을 간략하게 정리한다.
1. Hadoop Ecosystem
1.1. Storage
Storage는 Data를 저장하는 저장소 역할을 수행한다.
1.1.1. Hadoop HDFS
Hadoop HDFS는 큰 File 저장을 위해서 다수의 Node로 구성된 Distributed Filesystem이다. 고가용성이 특징이며 Seqence Read/Write에 특화되어 있어 Batch Job 수행에 유리한 특징을 갖는다.
1.1.2. Alluxio
Alluxio는 Data Orchestration Layer의 역할을 수행하며 다양한 Storage를 원하는 Interface로 접근하도록 도와주는 역할을 수행하며, Data Caching을 통해서 성능을 올려주는 역할을 수행한다. 지원하는 Storage는 Hadoop HDFS, Ceph와 같은 Distributed Storage/Filesystem을 지원하며 AWS S3, GC Storage와 같은 Cloud Storage도 지원한다. 지원하는 Interface에는 Hadoop HDFS, Java File API, POSIX Interface, AWS S3, REST API 등이 존재한다.
1.2. Resource Management
1.2.1. Hadoop YARN
1.2.2. Mesos
1.3. Coordinate & Management
1.3.1. Zookeeper
1.3.2. Ambari
1.4. Scheduler
1.4.1. ooZiE
1.4.2. Airflow
1.5. In-memory Processing
1.5.1. Spark
1.5.2. Ignite
1.6. Stream Processing
1.6.1. Kafka
1.6.2. Storm
1.6.3. Flink
1.7. SQL Over Hadoop
1.7.1. Impala
1.7.2. Drill
1.7.3. HIVE
1.8. NoSQL Database
1.8.1. HBase
1.9. Search Engine
1.9.1. Solr
1.10. Data Piping
1.10.1. nifi
1.10.2. Flume
1.10.3.
1.11. Machine Learning
1.11.1. MADLib
1.11.2. mahout
1.11.3. Spark MLlib
1.12. Scripting
1.12.1. Pig
1.13. Meta Data Management
1.13.1. Atlas
2. 참조
  https://www.cloudduggu.com/hadoop/ecosystem/
  HDFS : https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
  Alluxio : https://www.alluxio.io/
  Alluxio : https://d2.naver.com/helloworld/3863967

Hadoop Ecosystem

댓글