<div id="readability-page-1" class="page">
		<header>
			
			<h2>
				<a href="/"><img src="https://ssup2.github.io/images/emblem.png" width="40" height="36" alt="Ssup2 Blog logo"></a>
				Ssup2 Blog
				
			</h2>

			
			

			
			<nav>
				
				<ul>
					<li>
						
						<a href="/">Ssup2</a>
					</li>
				</ul>
				
				<ul>
					<li>
						<a> Software </a>
					</li>
					<ul>
						<li><a href="/categories/theory_analysis">Theory, Analysis</a></li>
						<li><a href="/categories/programming">Programming</a></li>
						<li><a href="/categories/command_tool">Command, Tool</a></li>
						<li><a href="/categories/paper_patent">Paper, Patent</a></li>
						<li><a href="/categories/issue">Issue</a></li>
						<li><a href="/categories/record">Record</a></li>
						<li><a href="/categories/coding_test">Coding Test</a></li>
					</ul>
				</ul>
				
				<ul>
					<li>
						<a> Series </a>
					</li>
					<ul>
						<li><a href="/categories/onebyone_container">OnebyOne Container</a></li>
					</ul>
				</ul>
				
				<ul>
					<li>
						<a> E.T.C </a>
					</li>
					<ul>
						<li><a href="/categories/math">Math</a></li>
						<li><a href="/categories/english">English</a></li>
					</ul>
				</ul>
				
				<ul> 
					<li>
						<a rel="license" href="http://creativecommons.org/licenses/by-nc-sa/4.0/">
							<img alt="Creative Commons License" src="https://i.creativecommons.org/l/by-nc-sa/4.0/88x31.png">
						</a>
					</li> 
				</ul>
			</nav>
		</header>
		
		<section>
			
			

			
			<article>
				
				<hr>

<ul id="markdown-toc">
  <li><a href="#1-base" id="markdown-toc-1-base">1. Base</a></li>
  <li><a href="#2-collection" id="markdown-toc-2-collection">2. Collection</a>    <ul>
      <li><a href="#21-kinesis-data-streams" id="markdown-toc-21-kinesis-data-streams">2.1. Kinesis Data Streams</a>        <ul>
          <li><a href="#211-kinesis-producer" id="markdown-toc-211-kinesis-producer">2.1.1. Kinesis Producer</a></li>
          <li><a href="#212-kinesis-consumer" id="markdown-toc-212-kinesis-consumer">2.1.2. Kinesis Consumer</a></li>
          <li><a href="#213-kinesis-scailing" id="markdown-toc-213-kinesis-scailing">2.1.3. Kinesis Scailing</a></li>
          <li><a href="#214-deplicated-records" id="markdown-toc-214-deplicated-records">2.1.4. Deplicated Records</a></li>
        </ul>
      </li>
      <li><a href="#22-kinesis-data-firehose" id="markdown-toc-22-kinesis-data-firehose">2.2. Kinesis Data Firehose</a></li>
    </ul>
  </li>
  <li><a href="#3-processing" id="markdown-toc-3-processing">3. Processing</a></li>
  <li><a href="#4-참고" id="markdown-toc-4-참고">4. 참고</a></li>
</ul>

<hr>

<h3 id="1-base">1. Base</h3>

<p>아래의 정리된 내용을 바탕으로 부족한 내용 정리</p>

<ul>
  <li><a href="https://ssup2.github.io/record/%EC%9E%90%EA%B2%A9%EC%A6%9D_AWS_Solutions_Architect_Associate/">AWS Solutions Architecture Assosicate</a></li>
</ul>

<h3 id="2-collection">2. Collection</h3>

<ul>
  <li>RealTime : 실시간 Data 수집
    <ul>
      <li>Kinesis data Streams (KDS)</li>
      <li>Simple Queue Service (SQS)</li>
      <li>Internet of Things (IoT)</li>
    </ul>
  </li>
  <li>Near-real Time : 준실시간 Data 수집
    <ul>
      <li>Kinesis Data Firehose (KDF)</li>
      <li>Database Migration Service (DMS)</li>
    </ul>
  </li>
  <li>Batch : 일괄 Data 수집
    <ul>
      <li>Snowball</li>
      <li>Data Pipeline</li>
    </ul>
  </li>
</ul>

<h4 id="21-kinesis-data-streams">2.1. Kinesis Data Streams</h4>

<ul>
  <li>다수의 Shard로 구성</li>
  <li>Retention : 1 ~ 365 Days</li>
  <li>저장된 Data는 지울수 없음</li>
  <li>Producer</li>
  <li>Record
    <ul>
      <li>Producer가 전송하는 Data</li>
      <li>Partition Key : Record가 어느 Shard로 전달될지 결정</li>
      <li>Data Blob : Data 저장소</li>
    </ul>
  </li>
  <li>Consumer</li>
  <li>Capacity Mode
    <ul>
      <li>Provisioned Mode
        <ul>
          <li>사용자가 Shard의 개수를 지정</li>
          <li>Shard 개수당 비용 발생</li>
        </ul>
      </li>
      <li>On-demand Mode
        <ul>
          <li>Traffic 양에 따라서 자동으로 Scaling 수행</li>
          <li>기본 성능 : 4 MB/sec, 4000 msg/sec</li>
          <li>Shard 개수 및 Traffic 양에 따라서 비용 발생</li>
        </ul>
      </li>
    </ul>
  </li>
  <li>Security
    <ul>
      <li>IAM 기반 인증/인가</li>
      <li>전송 Data 암호화는 HTTPS 이용</li>
      <li>저장된 Data 암호환느 KMS 이용</li>
      <li>VPC 내부에서 VPC Endpoint를 통해서 접근 가능</li>
      <li>CloudTrail을 통한 추적</li>
    </ul>
  </li>
</ul>

<h5 id="211-kinesis-producer">2.1.1. Kinesis Producer</h5>

<ul>
  <li>Ex) Application, SDK KPL, Kinesis Agent, CloudWatch Logs, AWS IoT, Kinesis Data Analytics</li>
  <li>성능
    <ul>
      <li>Shard당 1 MB/sec, 1000 msg/sec 제한</li>
      <li>초과시 ProvisionedThroughputExceeded Exception 발생
        <ul>
          <li>더 많은 Data를 보내고 있는건지, Hot Shard가 발생하고 있는건지 확인 필요</li>
          <li>Backoff 기반 재시도, Shard 증가, Partition Key 점검을 통해서 문제 해결</li>
        </ul>
      </li>
    </ul>
  </li>
  <li>API
    <ul>
      <li>단일 : PutRecord</li>
      <li>복수 : PutRecords</li>
    </ul>
  </li>
  <li>Kinesis Producer Library (KPL)
    <ul>
      <li>C++/Java 지원</li>
      <li>Retry 로직 지원
        <ul>
          <li>최대 30분 동안의 Data를 가지고 있으며, Retry 수행</li>
        </ul>
      </li>
      <li>Sync, Async API 지원</li>
      <li>CloudWatch로 Metric 전송</li>
      <li>Batching 수행
        <ul>
          <li>Throuput 증가, 비용 감소</li>
          <li>RecordMaxBufferedTime의 시간 만큼 대기후 한번에 전송 (Default 100ms)</li>
          <li>Write API를 직접 이용하는것 대비 Latency가 발생하기 때문에, Latency가 중요한 Application이라면 KPL 이용을 권장하지 않음</li>
        </ul>
      </li>
      <li>압축은 제공하지 않으며 App에서 직접 구현 필요</li>
      <li>KPL로 Encoding된 Record는 반드시 KPL 또는 Helper Library를 통해서 Decoding 필요</li>
    </ul>
  </li>
  <li>Kinesis Agent
    <ul>
      <li>Log 파일을 Kinesis Data Streams로 전송</li>
      <li>KPL 기반</li>
      <li>Data 전처리 지원</li>
    </ul>
  </li>
</ul>

<h5 id="212-kinesis-consumer">2.1.2. Kinesis Consumer</h5>

<ul>
  <li>Ex) Application, AWS Lambda, Kinesis Data Firehose, Kinesis Data Analytics</li>
  <li>성능
    <ul>
      <li>Default : 2 MB/sec all Consumer</li>
      <li>Enhanced Fan Out 이용시 : 2 MB/sec per Consumear</li>
    </ul>
  </li>
  <li>API
    <ul>
      <li>GetRecords
        <ul>
          <li>다수의 Record를 가져옴</li>
          <li>Client의 Polling 필요</li>
          <li>한번의 호출로 각 Shard당 최대 2 MB Data 수신 가능</li>
          <li>한번의 호출로 최대 10 MB Data, 10000개의 Record 수신 가능
            <ul>
              <li>10 MB 수신 시 성능 제한에 따라서 5초 동안 Throttled</li>
            </ul>
          </li>
          <li>각 Shard당 초당 5번 접근 가능</li>
        </ul>
      </li>
    </ul>
  </li>
  <li>Kinesis Client Library (KCL)
    <ul>
      <li>Golang, Python, Ruby, NodeJs</li>
      <li>Group 기능을 통해서 다수의 Consumer가 다수 Shard를 분배하여 처리 가능</li>
      <li>Checkpointing 기능을 통해서 Data 처리 Resume 가능</li>
      <li>KPL을 통해서 Aggregation된 Data를 De-aggregation 수행</li>
    </ul>
  </li>
  <li>Kinesis Connector Library
    <ul>
      <li>Data를 다른 AWS Servce로 전달</li>
      <li>EC2 Instance에서 구동 필요</li>
      <li>Deprecated : Kinesis Firehorse로 대체</li>
    </ul>
  </li>
  <li>Lambda
    <ul>
      <li>De-aggreagte되어 Lamba 함수에게 전달</li>
      <li>Batch 사이즈 지정 가능</li>
    </ul>
  </li>
</ul>

<h5 id="213-kinesis-scailing">2.1.3. Kinesis Scailing</h5>

<ul>
  <li>Shard 추가
    <ul>
      <li>Shard 추가시 기존의 Parent Shard를 대체하는 다수의 Child Shard가 생성</li>
      <li>Parent Shard에 존재하는 Data를 모두 처리한 이후에, Child Shard의 Data 처리를 권장
        <ul>
          <li>KCL에서는 내부적으로 구현이 되어 있음</li>
        </ul>
      </li>
    </ul>
  </li>
  <li>Shard 통합
    <ul>
      <li>Chart 통합시 기존 다수의 Parent Shard를 대체하는 하나의 Child Shard 생성</li>
    </ul>
  </li>
</ul>

<h5 id="214-deplicated-records">2.1.4. Deplicated Records</h5>

<ul>
  <li>Producer
    <ul>
      <li>일시적 Network 장애로 인해서 동일한 Record가 중복되어 Stream에 저장될 수 있음</li>
      <li>중복된 저장을 회피할 수 없으며, Consumer에서 중복 처리 필요</li>
    </ul>
  </li>
  <li>Consumer
    <ul>
      <li>Data에 Unique ID를 집어 넣어, 동일한 Data를 수신하여도 중복 처리되지 않도록 App Logic 처리</li>
    </ul>
  </li>
</ul>

<h4 id="22-kinesis-data-firehose">2.2. Kinesis Data Firehose</h4>

<ul>
  <li>AWS Service, 3rd Party Application에 Data 적재</li>
  <li>Fully Managed Service : Auto-scaling 지원</li>
  <li>Near Real Time : 최소 60초 지연 발생</li>
  <li>압축 지원 : GZIP, ZIP, SNAPPY</li>
  <li>Producer
    <ul>
      <li>SDK KPL, Kinesis Agent, Kinesis Data Streams, Amazon CloudWatch, AWS IoT</li>
      <li>하나의 Record 당 최대 1MB</li>
    </ul>
  </li>
  <li>Consumer
    <ul>
      <li>Amazon S3, Amazon OpenSearch, Datadog, splunk, New Relic, MongoDB, HTTP Endpoints</li>
      <li>Batch Write 수행</li>
    </ul>
  </li>
  <li>Transformation
    <ul>
      <li>Lambda를 활용하여 Data 변환 가능</li>
    </ul>
  </li>
</ul>

<h3 id="3-processing">3. Processing</h3>

<h3 id="4-참고">4. 참고</h3>

<ul>
  <li><a href="https://www.udemy.com/course/aws-data-analytics/">https://www.udemy.com/course/aws-data-analytics/</a></li>
</ul>

				
				
					
					<ins data-ad-client="ca-pub-2913607840371995" data-ad-slot="7197718666" data-ad-format="auto"></ins>
					
				

				
				
					
				
			</article>
		</section>

		
		

		
		
		
		
	

</div>

Ssup2 Blog

1. Base
  2. Collection    
      2.1. Kinesis Data Streams        
          2.1.1. Kinesis Producer
          2.1.2. Kinesis Consumer
          2.1.3. Kinesis Scailing
          2.1.4. Deplicated Records
        
      
      2.2. Kinesis Data Firehose
    
  
  3. Processing
  4. 참고
1. Base
아래의 정리된 내용을 바탕으로 부족한 내용 정리
  AWS Solutions Architecture Assosicate
2. Collection
  RealTime : 실시간 Data 수집
    
      Kinesis data Streams (KDS)
      Simple Queue Service (SQS)
      Internet of Things (IoT)
    
  
  Near-real Time : 준실시간 Data 수집
    
      Kinesis Data Firehose (KDF)
      Database Migration Service (DMS)
    
  
  Batch : 일괄 Data 수집
    
      Snowball
      Data Pipeline
    
  
2.1. Kinesis Data Streams
  다수의 Shard로 구성
  Retention : 1 ~ 365 Days
  저장된 Data는 지울수 없음
  Producer
  Record
    
      Producer가 전송하는 Data
      Partition Key : Record가 어느 Shard로 전달될지 결정
      Data Blob : Data 저장소
    
  
  Consumer
  Capacity Mode
    
      Provisioned Mode
        
          사용자가 Shard의 개수를 지정
          Shard 개수당 비용 발생
        
      
      On-demand Mode
        
          Traffic 양에 따라서 자동으로 Scaling 수행
          기본 성능 : 4 MB/sec, 4000 msg/sec
          Shard 개수 및 Traffic 양에 따라서 비용 발생
        
      
    
  
  Security
    
      IAM 기반 인증/인가
      전송 Data 암호화는 HTTPS 이용
      저장된 Data 암호환느 KMS 이용
      VPC 내부에서 VPC Endpoint를 통해서 접근 가능
      CloudTrail을 통한 추적
    
  
2.1.1. Kinesis Producer
  Ex) Application, SDK KPL, Kinesis Agent, CloudWatch Logs, AWS IoT, Kinesis Data Analytics
  성능
    
      Shard당 1 MB/sec, 1000 msg/sec 제한
      초과시 ProvisionedThroughputExceeded Exception 발생
        
          더 많은 Data를 보내고 있는건지, Hot Shard가 발생하고 있는건지 확인 필요
          Backoff 기반 재시도, Shard 증가, Partition Key 점검을 통해서 문제 해결
        
      
    
  
  API
    
      단일 : PutRecord
      복수 : PutRecords
    
  
  Kinesis Producer Library (KPL)
    
      C++/Java 지원
      Retry 로직 지원
        
          최대 30분 동안의 Data를 가지고 있으며, Retry 수행
        
      
      Sync, Async API 지원
      CloudWatch로 Metric 전송
      Batching 수행
        
          Throuput 증가, 비용 감소
          RecordMaxBufferedTime의 시간 만큼 대기후 한번에 전송 (Default 100ms)
          Write API를 직접 이용하는것 대비 Latency가 발생하기 때문에, Latency가 중요한 Application이라면 KPL 이용을 권장하지 않음
        
      
      압축은 제공하지 않으며 App에서 직접 구현 필요
      KPL로 Encoding된 Record는 반드시 KPL 또는 Helper Library를 통해서 Decoding 필요
    
  
  Kinesis Agent
    
      Log 파일을 Kinesis Data Streams로 전송
      KPL 기반
      Data 전처리 지원
    
  
2.1.2. Kinesis Consumer
  Ex) Application, AWS Lambda, Kinesis Data Firehose, Kinesis Data Analytics
  성능
    
      Default : 2 MB/sec all Consumer
      Enhanced Fan Out 이용시 : 2 MB/sec per Consumear
    
  
  API
    
      GetRecords
        
          다수의 Record를 가져옴
          Client의 Polling 필요
          한번의 호출로 각 Shard당 최대 2 MB Data 수신 가능
          한번의 호출로 최대 10 MB Data, 10000개의 Record 수신 가능
            
              10 MB 수신 시 성능 제한에 따라서 5초 동안 Throttled
            
          
          각 Shard당 초당 5번 접근 가능
        
      
    
  
  Kinesis Client Library (KCL)
    
      Golang, Python, Ruby, NodeJs
      Group 기능을 통해서 다수의 Consumer가 다수 Shard를 분배하여 처리 가능
      Checkpointing 기능을 통해서 Data 처리 Resume 가능
      KPL을 통해서 Aggregation된 Data를 De-aggregation 수행
    
  
  Kinesis Connector Library
    
      Data를 다른 AWS Servce로 전달
      EC2 Instance에서 구동 필요
      Deprecated : Kinesis Firehorse로 대체
    
  
  Lambda
    
      De-aggreagte되어 Lamba 함수에게 전달
      Batch 사이즈 지정 가능
    
  
2.1.3. Kinesis Scailing
  Shard 추가
    
      Shard 추가시 기존의 Parent Shard를 대체하는 다수의 Child Shard가 생성
      Parent Shard에 존재하는 Data를 모두 처리한 이후에, Child Shard의 Data 처리를 권장
        
          KCL에서는 내부적으로 구현이 되어 있음
        
      
    
  
  Shard 통합
    
      Chart 통합시 기존 다수의 Parent Shard를 대체하는 하나의 Child Shard 생성
    
  
2.1.4. Deplicated Records
  Producer
    
      일시적 Network 장애로 인해서 동일한 Record가 중복되어 Stream에 저장될 수 있음
      중복된 저장을 회피할 수 없으며, Consumer에서 중복 처리 필요
    
  
  Consumer
    
      Data에 Unique ID를 집어 넣어, 동일한 Data를 수신하여도 중복 처리되지 않도록 App Logic 처리
    
  
2.2. Kinesis Data Firehose
  AWS Service, 3rd Party Application에 Data 적재
  Fully Managed Service : Auto-scaling 지원
  Near Real Time : 최소 60초 지연 발생
  압축 지원 : GZIP, ZIP, SNAPPY
  Producer
    
      SDK KPL, Kinesis Agent, Kinesis Data Streams, Amazon CloudWatch, AWS IoT
      하나의 Record 당 최대 1MB
    
  
  Consumer
    
      Amazon S3, Amazon OpenSearch, Datadog, splunk, New Relic, MongoDB, HTTP Endpoints
      Batch Write 수행
    
  
  Transformation
    
      Lambda를 활용하여 Data 변환 가능
    
  
3. Processing
4. 참고
  https://www.udemy.com/course/aws-data-analytics/

자격증 AWS Certified Data Analytics

댓글