<div id="readability-page-1" class="page"><article id="post-3838">
	
	

	
	
	<div>
		
최근에 AWS에서 발표한&nbsp;<a href="https://aws.amazon.com/ko/about-aws/whats-new/2022/01/aws-cloudtrail-lake-audit-security/" rel="nofollow" target="_blank">CloudTrail Lake</a>&nbsp;공지를 보고 느낀 점은 기존에 리전, 계정별로 관리하는 테이블에 대한 부담 없이 손쉽게 Athena 같은 환경을 구축할 수 있어서 편리하겠다 였습니다. 그래서 곧바로 설정하고 CloudTrail Lake를 사용해봤는데, 느낀 점은 편리하면서 비싸다 입니다. 왜 그렇게 생각했는지 하나하나 살펴보도록 하겠습니다.







CloudTrail Lake의 설정은 매우 간단합니다. 조직 관리자 혹은 보안 계정에서 조직 전체에 대한 이벤트 데이터 저장소를 구성하기만 하면 됩니다. 이름과 보존 기간, 리전, 조직 계정 활성화 여부 및 이벤트 유형만 결정하면 곧바로 생성됩니다. 구체적인 설정 가이드는 공식 블로그의 글을 참고하시기 바랍니다. [<a href="https://aws.amazon.com/ko/blogs/mt/announcing-aws-cloudtrail-lake-a-managed-audit-and-security-lake/" rel="nofollow" target="_blank">바로가기</a>]



<figure data-amp-lightbox="true"><amp-img width="1099" height="867" src="https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111324/101-1.webp" alt="" srcset="https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111324/101-1.webp 1099w, https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111324/101-1-768x606.webp 768w" sizes="(max-width: 1099px) 100vw, 1099px" data-amp-lightbox="" lightbox="" layout="intrinsic" disable-inline-width="" i-amphtml-layout="intrinsic"><img width="1099" height="867" src="https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111324/101-1.webp" alt="" sizes="(max-width: 1099px) 100vw, 1099px" data-old-src="data:image/svg+xml;base64,PHN2ZyBoZWlnaHQ9Ijg2NyIgd2lkdGg9IjEwOTkiIHhtbG5zPSJodHRwOi8vd3d3LnczLm9yZy8yMDAwL3N2ZyIgdmVyc2lvbj0iMS4xIi8+"></amp-img></figure>



이벤트 데이터 저장소는 아마도 S3일 것이지만, AWS에서 자체적으로 관리하기 때문에 저장소 자체에 직접 접근하는 것은 불가능합니다. 즉, 데이터 변조는 아예 불가능하며 CloudTrail Lake의 권한이 없으면 데이터 조회를 할 수가 없습니다. 이런 면에서 보안은 기존의 CloudTrail보다 더 낫다고 볼 수 있습니다.



<figure data-amp-lightbox="true"><amp-img width="1597" height="846" src="https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111329/101-2.webp" alt="" srcset="https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111329/101-2.webp 1597w, https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111329/101-2-1200x636.webp 1200w, https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111329/101-2-768x407.webp 768w, https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111329/101-2-1536x814.webp 1536w" sizes="(max-width: 1597px) 100vw, 1597px" data-amp-lightbox="" lightbox="" layout="intrinsic" disable-inline-width="" i-amphtml-layout="intrinsic"><img loading="lazy" width="1597" height="846" src="https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111329/101-2.webp" alt="" sizes="(max-width: 1597px) 100vw, 1597px" data-old-src="data:image/svg+xml;base64,PHN2ZyBoZWlnaHQ9Ijg0NiIgd2lkdGg9IjE1OTciIHhtbG5zPSJodHRwOi8vd3d3LnczLm9yZy8yMDAwL3N2ZyIgdmVyc2lvbj0iMS4xIi8+"></amp-img></figure>



약간의 시간이 지나서 데이터 저장소가 생성되고 이벤트가 저장되기 시작하면 저장된 데이터에 대한 표준 SQL 기반의 쿼리를 할 수 있습니다. 쿼리 에디터는 기존의 Athena와 굉장히 유사한 UI를 가지고 있습니다. 테이블 이름 대신에 이벤트 데이터 저장소의 고유 아이디를 입력하고 사용하면 됩니다. 참 쉽죠?



설정이 이렇게나 간편하고 조직의 모든 계정과 모든 리전에 대한 CloudTrail 이벤트 로그가 쿼리를 통해서 검색 가능해지는데 조심해야 할 점이 하나 있습니다. 바로, 사용하기에 따라서 비용이 과도하게 늘어날 수 있다는 것입니다.



<h2 id="cloudtrail-lake-비용">CloudTrail Lake 비용</h2>



CloudTrail Lake의 비용은 아직 한국어로 업데이트가 되지 않아서 영어로 확인해야 합니다. [<a href="https://aws.amazon.com/cloudtrail/pricing/" rel="nofollow" target="_blank">바로가기</a>]



<figure data-amp-lightbox="true"><amp-img width="921" height="744" src="https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111337/101-3.webp" alt="" srcset="https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111337/101-3.webp 921w, https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111337/101-3-768x620.webp 768w" sizes="(max-width: 921px) 100vw, 921px" data-amp-lightbox="" lightbox="" layout="intrinsic" disable-inline-width="" i-amphtml-layout="intrinsic"><img loading="lazy" width="921" height="744" src="https://cdn.lamanus.kr/wp-content/uploads/2022/06/06111337/101-3.webp" alt="" sizes="(max-width: 921px) 100vw, 921px" data-old-src="data:image/svg+xml;base64,PHN2ZyBoZWlnaHQ9Ijc0NCIgd2lkdGg9IjkyMSIgeG1sbnM9Imh0dHA6Ly93d3cudzMub3JnLzIwMDAvc3ZnIiB2ZXJzaW9uPSIxLjEiLz4="></amp-img></figure>



무료 기간이 있기는 하지만, 이후에는 매 월 1GB당 $2.5의 비용을 지불해야 합니다. 쿼리 비용은 Athena와 동일하며 별도로 지불해야 합니다. 기존의 CloudTrail 비용은 이벤트 데이터 건별로 발생하기 때문에 비교하기가 약간 어렵습니다. 그래서 제가 관리하는 계정의 2021년 12월 ap-northeast-2 리전 데이터를 기준으로 가상 비교를 해봤습니다. 기준 데이터의 크기는 5.2GB, 데이터의 건수는 3350만 건입니다.



<ul><li>CloudTrail with S3<ul><li>Free for Ingest (First copy of management events only)</li><li>$0.025/GB * 5.2GB =&nbsp;$0.13</li></ul></li><li>CloudTrail Lake<ul><li>$2.5/GB * 5.2GB =&nbsp;$13</li></ul></li></ul>



위 계산은 오직 Management events에 한정됩니다. 만약 이와 동일한 양의 Data events가 있다고 가정하면 다음과 같은 비용이 발생할 것입니다.



<ul><li>CloudTrail with S3<ul><li>$0.1/100k * 33500k =&nbsp;$33.5</li><li>$0.025/GB * 5.2GB =&nbsp;$0.13</li></ul></li><li>CloudTrail Lake<ul><li>$2.5/GB * 5.2GB =&nbsp;$13</li></ul></li></ul>



결과가 묘하게 나왔습니다. Management events만 사용하는 경우라면, 전자가 압도적으로 유리한 반면에, Data events까지 수집하면서 그 데이터의 양이 많으면 후자가 유리할 것으로 기대됩니다. 물론, Data event 한 건당 데이터의 크기가 다를 수 있기 때문에 이에 대한 분석은 직접 진행해보셔야 하겠습니다.



이 외에도 외부 프로그램을 연동하여 CloudTrail을 분석하거나 가공하고자 한다면 기존에는 S3에 직접 파일 형태로 접근이 가능했으나 CloudTrail Lake는 반드시 쿼리를 수행해아만 데이터를 얻을 수 있습니다. 그렇다는 것은 결국 외부 Integration을 위해서 추가적인 비용 소모가 불가피하다는 뜻입니다.



<h2 id="cloudtrail과-athena-partition">CloudTrail과 Athena Partition</h2>



비용과 편리함 중에 어떤 것을 고를 수 있을까요? Trade off라고 생각할 수 있지만, 기존 CloudTrail에서도 Athena를 통해서 충분히 훌륭한 쿼리 환경을 구축할 수 있습니다. Athena Partition을 이용하여 모든 데이터를 하나의 테이블로 묶으면 CloudTrail Lake와 유사한 환경이 구축되기 때문에 Management events만 수집하는 경우에는 양쪽의 모든 장점을 취할 수 있습니다.



먼저, AWS 조직 계정에 대한 CloudTrail을 설정합니다. 버킷 경로를&nbsp;<code>s3://cloudtrail-bucket/AWSLogs/o-rgid/</code>&nbsp;라고 하겠습니다. 그러면 버킷의&nbsp;<code>o-rgid/</code>&nbsp;하위 경로에 다음과 같은 prefix를 가지고 events가 저장됩니다.


<pre aria-describedby="shcb-language-1" data-shcb-language-name="HTML, XML" data-shcb-language-slug="xml"><code>s3://cloudtrail-bucket/AWSLogs/o-rgid/&lt;account&gt;/CloudTrail/&lt;region&gt;/&lt;year&gt;/&lt;month&gt;/&lt;day&gt;/
</code>Code language: HTML, XML (xml)</pre>


Athena에서는 여러 형태의 데이터 파티션을 제공하는데, 여기서는&nbsp;<code>enum</code>과&nbsp;<code>timestamp</code>&nbsp;타입의 파티션을 정의하고 사용할 수 있습니다. 먼저&nbsp;<code>enum</code>으로 정의할 파티션은&nbsp;<code>account</code>와&nbsp;<code>region</code>입니다.&nbsp;<code>account</code>는 조직의 하위 계정들을 전부 혹은 필요한 계정만 나열하고,&nbsp;<code>region</code>도 필요에 따라 목록을 제공하면 됩니다.


<pre aria-describedby="shcb-language-2" data-shcb-language-name="JavaScript" data-shcb-language-slug="javascript"><code> 'projection.account.type'='enum', 
 'projection.account.values'='account1,account2,account3', 
 'projection.region.type'='enum', 
 'projection.region.values'='ap-northeast-1,ap-northeast-2,ap-northeast-3,ap-south-1,ap-southeast-1,ap-southeast-2,ca-central-1,eu-central-1,eu-north-1,eu-west-1,eu-west-2,eu-west-3,me-south-1,sa-east-1,us-east-1,us-east-2,us-west-1,us-west-2', 
</code>Code language: JavaScript (javascript)</pre>


<code>timestamp</code>&nbsp;파티션은 연, 월, 일 형태로 정의할 것이므로 형태와 간격, 시작일과 종료일을 정해주면 됩니다. 종료일의 경우에는&nbsp;<code>NOW</code>를 통해서 당일까지 지정이 가능합니다.


<pre aria-describedby="shcb-language-3" data-shcb-language-name="JavaScript" data-shcb-language-slug="javascript"><code> 'projection.timestamp.type'='date', 
 'projection.timestamp.interval.unit'='DAYS', 
 'projection.timestamp.interval'='1', 
 'projection.timestamp.format'='yyyy/MM/dd', 
 'projection.timestamp.range'='2020/01/01,NOW', 
</code>Code language: JavaScript (javascript)</pre>


연, 월, 일을 별도의 파티션 컬럼으로 지정할 수 있지만, 그렇게 하면 복잡도가 증가하고 대소 비교가 어려워지는 문제가 있습니다. 위와 같이&nbsp;<code>timestamp</code>를 파티션으로 정의하면서&nbsp;<code>partition projection</code>&nbsp;옵션을 제공하면 대소비교와 like 모두 필요한 파티션만 읽을 수 있습니다. 이제 이런 테이블 설정을 모아서 다음과 같이 하나의 테이블을 생성할 수 있습니다.


<pre aria-describedby="shcb-language-4" data-shcb-language-name="JavaScript" data-shcb-language-slug="javascript"><code>CREATE EXTERNAL TABLE `cloudtrail-table`(
 `eventversion` string,
 `useridentity` struct&lt;type:string,principalid:string,arn:string,accountid:string,invokedby:string,accesskeyid:string,username:string,sessioncontext:struct&lt;attributes:struct&lt;mfaauthenticated:string,creationdate:string&gt;,sessionissuer:struct&lt;type:string,principalid:string,arn:string,accountid:string,username:string&gt;&gt;&gt;,
 `eventtime` string,
 `eventsource` string,
 `eventname` string,
 `awsregion` string,
 `sourceipaddress` string,
 `useragent` string,
 `errorcode` string,
 `errormessage` string,
 `requestparameters` string,
 `responseelements` string,
 `additionaleventdata` string,
 `requestid` string,
 `eventid` string,
 `resources` array&lt;struct&lt;arn:string,accountid:string,type:string&gt;&gt;,
 `eventtype` string,
 `apiversion` string,
 `readonly` string,
 `recipientaccountid` string,
 `serviceeventdetails` string,
 `sharedeventid` string,
 `vpcendpointid` string)
PARTITIONED BY ( 
 `account` string, 
 `region` string, 
 `timestamp` string)
ROW FORMAT SERDE 
 'com.amazon.emr.hive.serde.CloudTrailSerde' 
STORED AS INPUTFORMAT 
 'com.amazon.emr.cloudtrail.CloudTrailInputFormat' 
OUTPUTFORMAT 
 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
 's3://cloudtrail-bucket/AWSLogs/o-rgid/'
TBLPROPERTIES (
 'projection.enabled'='true', 
 'projection.account.type'='enum', 
 'projection.account.values'='account1,account2,account3', 
 'projection.region.type'='enum', 
 'projection.region.values'='ap-northeast-1,ap-northeast-2,ap-northeast-3,ap-south-1,ap-southeast-1,ap-southeast-2,ca-central-1,eu-central-1,eu-north-1,eu-west-1,eu-west-2,eu-west-3,me-south-1,sa-east-1,us-east-1,us-east-2,us-west-1,us-west-2', 
 'projection.timestamp.type'='date', 
 'projection.timestamp.interval.unit'='DAYS', 
 'projection.timestamp.interval'='1', 
 'projection.timestamp.format'='yyyy/MM/dd', 
 'projection.timestamp.range'='2020/01/01,NOW', 
 'storage.location.template'='s3://cloudtrail-bucket/AWSLogs/o-rgid/${account}/CloudTrail/${region}/${timestamp}')
</code>Code language: JavaScript (javascript)</pre>


자, 이렇게 완성된 DDL을 이용해서 Athena에 테이블을 만들면 지정된 계정과 리전 전체를 포함하는 단일 테이블을 생성할 수 있습니다. 그리고 데이터 파이셔닝이 되어있으므로 해당 컬럼을 지정하여 보다 적은 데이터를 스캔함으로써 비용 절감과 속도 향상을 체감하실 수 있을 겁니다.
	</div>

	
	
	

	</article></div>

Lamanus' Archive

최근에 AWS에서 발표한 CloudTrail Lake 공지를 보고 느낀 점은 기존에 리전, 계정별로 관리하는 테이블에 대한 부담 없이 손쉽게 Athena 같은 환경을 구축할 수 있어서 편리하겠다 였습니다. 그래서 곧바로 설정하고 CloudTrail Lake를 사용해봤는데, 느낀 점은 편리하면서 비싸다 입니다. 왜 그렇게 생각했는지 하나하나 살펴보도록 하겠습니다. CloudTrail Lake 설정 및 사용 CloudTrail Lake의 설정은 매우…
Continue reading CloudTrail Lake와 Athena Partition

CloudTrail Lake와 Athena Partition

댓글