Stories by 신상훈 on Medium

AWS CDK Lambda Basic Guide
주말 동안 삽질한 AWS cdk 를 작업 내용을 정리 보았습니다.
진행 내용은 cdk를 이용한 기본 lamda 구성 하여 lambda 테스트 까지 진행했으며 추가로 S3에 이미지 파일 업로드시 썸네일을 생성 진행했습니다.
cdk를 사용하면 환경 구성이 너무 편합니다.. 강추 드려요.
Github Link
AWS CDK 프로젝트 기본 구성
Github Link
AWS CLI Install
aws cli 가 python 참조 하며 개발환경을 맥에 진행하여 brew 를 사용
awscli 를 설치 해도 자동으로 파이썬이 설치된다.
//python 설치 
brew search python
brew info python
brew install python
//aws cli 설치
brew search awscli
brew info awscli
brew install awscli
2. Create IAM (User)
AWS 아이디 생성 create a new user .
AWS console 로그인
IAM 유저 생성
AWS API , CLI, SDK 를 사용할 것이기 때문에 Programmatic access 선택
Click 권한 선택 클릭 Attach existing policies directly 권한을 조금 편하게 다루기 원할경우 AdministratorAccess 을 부여하면 된다! 단 개발 테스트시만 사용하는 것이 좋다.
다음 클릭
유저 생성 완료 클릭
마지막 단계에서 Access key ID, Secret access key 를 확인 할수 있으며 해당 내용을 csv 파일로 다운 받을 수 있다. cli profile 설정에 필요하니 csv 파일을 받아 놓았다
사용자 생성시 사용한 Use Policies 는 아래와 같다.
AWSXrayWriteOnlyAccess
AWSDeepLensLambdaFunctionAccessPolicy
AWSLambdaBasicExecutionRole
AWSLambdaENIManagementAccess
AWSCloudFormationFullAccess
AmazonS3FullAccess
3. Create Profile AWS CLI
이전 단계에서 생성한 유저를 등록하여 배포시 profile로 사용한다.
profile은 여러개 등록가능하며 default 도 등록 가능하다
//default profile 설정시
aws configure
// many profile 설정시
$ aws configure — profile lambdaTest
// configure 명령어를 사용하면 아래와 같이 순차 적으로 커멘드에 출력된다
AWS Access Key ID [None]: AKIAEXAMPLEEXAMPLE
AWS Secret Access Key [None]:FF71231231239EXAMPLEEXAMPLEMP12319
Default region name [None]: us-east-1
Default output format [None]: text
Profile 생성 폴더 경로는 다음과 같다. ( Mac 환경 )
[USERNAME]\.aws\credentials
default 또는 Profile 을 설정하지 않으면 아래와 같은 Error 발생
AWS region must be configured either when you configure your CDK stack or through the environment
cdk 명령어 사용시 profile 사용 방법
명령어 중에 synth 는 profile을 하지 않아도 실행 가능 하며 profile을 기본으로 설정해 놓은 경우는 생략 가능.
cdk [명령어] — profile lambdaTest
4. AWS-CDK install
Mac 환경에서 개발하였기 때문에 brew 를 사용하여 설치 진행.
brew search aws-cdk
brew install aws-cdk
5. Create CDK Project Folder
mkdir aws_lambda_test
cd aws_lambda_test
6. Create a new TypeScript CDK project
cdk init [PROJECT NAME] — language Typescript
7. CDK Useful commands
//지원되는 프로그래밍 언어 중 하나로 현재 디렉터리에서 CDK 프로젝트 생성
cdk init[PROJECT NAME] — language Typescript
//배포를 위해서는 자산 (압축 된 Lambda 함수 코드)을 사용해야하므로 CDK에 환경을 부트 스트랩하도록 지시해야합니다. 그러면 Lambda 코드 패키지를 저장할 버킷이 포함 된 추가 스택이 생성된다
npm run build
//CDK를 사용하여 이미 배포 된 리소스와 CDK가 CloudFormation에 전달하여 현재 배포 한 변경 사항 간의 차이를 계산할 수 있습니다. 아직 배포하지 않은 경우 첫 번째 diff에는 정의 된 모든 리소스가 포함된다
cdk bootstrap
// 앱에 대한 CloudFormation 템플릿 출력 
// 디폴트로 cdk.out 폴더가 생성되며 s3 와 동기화되어 배포된 파일을 동기화
// --output 옵션으로 폴더를 변경할 수 있다
cdk synth
//프로젝트 파일 콘텐츠와 배포된 내용 비교
cdk diff
//AWS 계정에 앱 배포
cdk deploy
//모든 스택을 리스트 출력
cdk ls
//모든 배포 환경 삭제 (S3는 삭제 되지 않음)
cdk destroy
8. Project 폴더 구조
/lib/
CDK 프로그램의 기본 스택 정의
/bin/
CDK 프로그램의 진입점
/lib/ 경로에 정의 된 스택을 로드합니다
/test/
테스트 로직 정의
package.json
npm 모듈 매니페스트 (앱이름,버전,종성성)
watch 및 build 같은 빌드 스크립트 정보 포함
package-lock.json 파일은 npm에서 유지 보수
cdk.json
툴킷에 앱실행 방법을 정의
tsconfig.json
해당 디렉토리가 TypeScript 프로젝트의 루트임을 나타냄
프로젝트를 컴파일하는 데 필요한 루트 파일과 컴파일러 옵션을 지정합니다.
jest .config.json
자바스크립트 테스트(jest) 프레임웍 설정 파일
.gitignore 및 .npmignore
소스 제어에서 포함 / 제외 할 파일과이 모듈을 패키지 관리자에 게시 할 때 git 및 npm에 알려줍니다.
node_modules
npm에 의해 유지 관리되며 모든 프로젝트 종속성을 포함합니다.
9. CDK Bootstrap
cdk deploy 진행시 cdk bootstrap 이 선행 되지 않으면 에러발생
AwsLambdaStack failed: Error: This stack uses assets, so the toolkit stack must be deployed to the environment (Run “cdk bootstrap aws://unknown-account/unknown-region”)
cdk bootstrap 실행시 S3 버킷 생성 권한이 없으면 에러 발생
Environment aws://234743043285/ap-northeast-2 failed bootstrapping: Error: The stack named CDKToolkit failed creation, it may need to be manually deleted from the AWS console: ROLLBACK_COMPLETE
CDK 툴킷 스택을 배포하기 위해 AWS S3에 버킷 생성
//CDK 툴킷 스택을 배포하기 위해 AWS S3에 버킷 생성
cdk bootstrap — profile lambdaTest
10. Install npm library
[ Source Git Hub Like ]
//프로젝트 루트 경로 에서 
npm install --dev @types/node
npm install --dev @aws-cdk/aws-lambda
11. Create Lambda file&folder
Step 1. 프로젝트 루트에 lambda 디렉토리 생성
mkdir lambdas
Step 2. 생성한 폴더에 hello.js 파일 생성 ( lambda/hello.js )
touch lambdas/hello.js
Step 3. hello.js 파일에 아래 내용 추가
exports.handler = async function(event) {
console.log(‘request:’, JSON.stringify(event, undefined, 2));
return {
statusCode: 200,
headers: { ‘Content-Type’: ‘text/plain’ },
body: `Hello, CDK! You’ve hit ${event.path}\n`
};
};
12. Modify cdk-workshop-stack.ts (lib/cdk-workshop-stack.ts)
import cdk = require(‘@aws-cdk/core’);
import lambda = require(‘@aws-cdk/aws-lambda’);
import path = require(‘path’);
export class CdkWorkshopStack extends cdk.Stack {
constructor(scope: cdk.App, id: string, props?: cdk.StackProps) {
super(scope, id, props);
// defines an AWS Lambda resource
const hello = new lambda.Function(this, ‘HelloHandler’, {
runtime: lambda.Runtime.NODEJS_8_10, // execution environment
code : lambda.Code.fromAsset(path.join(‘lambda’))
, // code loaded from the “lambda” directory
handler: ‘hello.handler’ // file is “hello”, function is “handler”
});
}
}
handler: ‘hello.handler’ ( “hello”는 파일 이름, “handler”는 내 보낸 함수 이름)파일 이름이 맞지 않으면 aws console의 lambda 에 생성된 람다에서 파일을 찾지 못한다.
13. CDK Deploy
로컬 AWS CDK 코드와 AWS에서 실행되는 애플리케이션 간 “차이점” 확인
cdk diff
배포
cdk deploy — profile lambdaTest
lambda 개발시 node module 을 사용한다면 기존 lambda 구성과 동일하게 해당 폴더에 node module 이 포함되어 있어야 한다.
사용하는 모듈이 몇개 사용하지 않아 심볼링 링크 폴더를 구성하여 같이 배포 되도록 처리 했다. (aws 모듈은 포함 하지 않아도 된다)
[참고 ] Simbolic Link 생성 방법
ln -s ../node_modules node_modules
//링크 만들기
ln -s [target directory] [symbolic shortcut]
//링크 삭제하기
unlink [symbolic shortcut]
//링크 복사하기
cp -R [target symbolic shortcut] [source directory]
//링크 생성시 Permission denied 에러 발생
sudo ln -s [target directory] [symbolic shortcut]
IAM에 IAM 생성 권한이 없을 경우 아래와 같이 에러 발생
API: iam:CreateRole User: arn:aws:iam::234743043285:user/myLambda is not authorized to perform: iam:CreateRole on resource: arn:aws:iam::234743043285:role/AwsLambdaStack-helloLambdaServiceRoleBB046714–1LYRGXY2V4YG5
14. Lambda TEST
AWS Lambda Console을 에 접속해서 lambada 로 이동 생성된 function 이 확인 되지 않는다면 리전 확인
1. Function 이름을 클릭하여 이동
오른 쪽 상단의 테스트 버튼을 클릭하여 테스트 이벤트를 설정한다.
2. 테스트 이벤트 설정 목록 에서 이벤트 템플릿을 Amazon API Gateway AWS Proxy 를 선택하고 이벤트 이름은 test 로 입력
3. 테스트 이벤트 설정을 저장
4. 오른쪽 상단 테스트를 다시 클릭 하고 실행이 완료 될 때까지 기다린다.
5. 테스트가 완료 되면 아래와 같이 확인할 수 있다. ( Details 텍스트 클릭 )
지금 까지 CDK 를 이용한 기본 Lambda 를 진행 했으며 지금 부터 S3에 이미지 업로드시 Lambda 에서 이벤트를 받아 해당 이미지의 썸네일을 생성하는 작업을 진행 하겠습니다.
1. AWS-S3 Modul Install
aws 관련 모듈은 Lambda 에 포함되어 있기 때문에 개발시에만 필요로 함.
npm install — dev @aws-cdk/aws-s3
aws SNS 를 이용한 노티 처리시 설치 (사용하지 않음 참고사항)
npm install — dev @aws-cdk/aws-s3-notifications
2. Sharp Modul Install for AWS Lambda
sharp/install.md at master · lovell/sharp · GitHub
Sharp -이미지 변환 모듈
Sharp 는 운영 체제 별로 설치 방법이 조금씩 다르니 링크로 이동하여 
document 를 확인 하고 설치 진행 해야한다.
// AWS Lambda에서 사용할 경우 기존에 설치된 모듈을 삭제하고 아래와 같이 옵션을 설정하여 다시 설치 해야한다. sharp 가이드에 명시 되어있다. 
rm -rf node_modules/sharp
npm install -arch=x64 -platform=linux -target=10.15.0 sharp
Lambda 런타임을 Docker 컨테이너를 사용할 경우 아래와 같이 설치
rm -rf node_modules/sharp
docker run -v “$PWD”:/var/task lambci/lambda:build-nodejs10.x npm install sharp
2. Cdk AWS S3 생성 ( lib/aws_lambda_stack.ts )
aws_lambda_stack.ts 파일에 아래 내용 추가
S3 Bucket 생성
const thumnailBucket = new s3.Bucket(this, ‘thumnailBucket’, {
//생성할 버켓 이름 
bucketName: ‘lambda-test-resized’,
//파일 버전 관리 여부
versioned: true,
// 모든 Get은 public 접근 설정
// publicReadAccess:true,
// 관리자만 읽을수 있도록 Access설정
accessControl: BucketAccessControl.AUTHENTICATED_READ
});
S3 Cros Role 설정
// 상황에 따라 크로스 설정을 수정 하도록 하자 편의를 위해 모두 허용
thumnailBucket.addCorsRule({
allowedOrigins: [‘*’],
allowedMethods: [HttpMethods.GET, HttpMethods.POST,HttpMethods.PUT, HttpMethods.HEAD ],
allowedHeaders: [‘*’]
});
S3 Notification for Lambda 설정
//생성 삭제 삭제 등 특정 이벤트의 특정 버킷 경로와 확장자 기준으로 notification 설정
//이벤트를 받을 수 있으며 여러개 등록 가능하다.
//prifex , suffix 는 ‘*’를 지원하지 않는다
bucket.addEventNotification(
 s3.EventType.OBJECT_CREATED,
 new LambdaDestination(tunmnailLambda),
 { prefix: ‘origin/’, suffix : ‘.jpg’ }
);
bucket.addEventNotification(
 s3.EventType.OBJECT_CREATED,
 new LambdaDestination(tunmnailLambda),
 { prefix: ‘origin/’, suffix : ‘.png’ }
);
lambda ACL 권한
// 여러개의 람다에 ACL 권한을 부여할 수 있다.
// 그외 grantPublicAccess()등 총 6가지의 ACL 권한이 있다.
// thumnailBucket.grantWrite( [Lamda 변수명] );
thumnailBucket.grantWrite(tunmnailLambda);
thumnailBucket.grantWrite(gifLambda);
3. AWS Lambda function 생성 ( lib/aws_lambda_stack.ts )
람다 펑션 기본 설정
const gifLambda = new lambda.Function(this, “gifLambda”, {
//람다 펑션 파일 경로
code: new lambda.AssetCode(‘lambdas/gifToMp4’),
runtime: lambda.Runtime.NODEJS_10_X,
// 람다 파일 펑션 파일 등록 ( gifToMp4Lambda 파일명 )
handler: ‘gifToMp4Lambda.handler’,
//람다의 제한 시간을 설정, 제한시간은 작업의 시간이 오래 걸리는 함수의 경우 낮게 줄 경우 정상적으로 동작 하지 않는다. defult 3sec
timeout: Duration.minutes(2),
//메모리 사이즈 정의 디폴트 128
memorySize : 128,
// 레이어 등록
layers : [imageLayer1, imageLayer2]
});
4. AWS Lambda Layers 생성 ( lib/aws_lambda_stack.ts )
layers 생성
//name 속성들은 패턴이 존재한다. pattern: (arn:[a-zA-Z0–9-]+:lambda:[a-zA-Z0–9-]+:\d{12}:layer:[a-zA-Z0–9-_]+)|[a-zA-Z0–9-_] )
const imageLayers = new lambda.LayerVersion(this, “imageLayers”,{
//모듈의 경로를 설정
code : new lambda.AssetCode(‘lambda_layers/image_layers’),
// 런타임 지원 노드 버전 설정
compatibleRuntimes : [lambda.Runtime.NODEJS_10_X, lambda.Runtime.NODEJS_8_10],
//버전명
layerVersionName: ‘imageThumnailLayers’,
// 레이어 설명
description : ‘jpg/png/jpeg thumnail modules’
});
lambda function에 layer 추가
const tunmnailLambda = new lambda.Function(this, “imageLambda”, {
…. 생략 ……
// 레이어 등록 ( 한개 이상의 레이어 등록 가능 )
layers : [imageLayer1, imageLayers1]
});
5. S3 업로드 파일 썸네일 람다 개발 요건
Lambda Function 파일 생성 ( /lambdas/thumnailLambda.js )
썸네일시 필요한 모듈 ( aws-sdk , sharp )
특정 용량 이상일 경우 퀄리티를 낮추서 용량을 최소화 한다.
추후 API Gateway 와 연동하여 원하는 사이즈로 변환 또는 확장자로 변환할 수 있다록 확장성을 고려해야한다.
생성한 썸네일은 private 으로 저장하며 사용자에게는 Sign URL 을 발급하여 public 접근을 막아야 한다.
썸네일은 png, Jpg, jpeg, webP 변환 지원
6. cdk를 이용한 Lambda 개발 진행 이슈 사항
아래 내용은 필자가 작업을 진행하면서 확인된 내용 기입.
cdk 프로젝트에 npm_module 을 람다에서 사용할 수 있지만 배포시 같이 배포되 지 않기 때문에 심볼링 링크로 사용하는 모듈을 링크를 걸어 같이 배보되도록 해야한다. 간혹 참조 모듈이 많은경우 람다 작업 폴더에 모듈을 설치 하여 관리 해야 한다. cdk가 빌드할때 같이 빌드할지 알았지만 해주지 않았다.
여러 람다 에서 사용하는 모듈 같은 경우 람다 레이어를 활용
람다는 250MB 를 넘을 수 없다 그렇기 때문에 모듈의 용량이 커지는 경우 람다 레이어를 사용하여 모듈을 분리하고 람다에 레이어를 등록하여 사용 해야 한다.
람다 레이어는 개당 50MB 를 넘을 수 없다.
람다 펑션은 총 5개의 레이어를 등록할 수 있다.
S3 private 파일을 등록 수정 삭제 등 을 진행 하기 위해서는 S3에 ACL 권한을 부여 해야 한다.
람다의 설정중 제한시간은 람다의 실행 시간을 분석 고려하여 설정해야하며 너무 낮게 설정한 경우 실행중 람다가 종료되어 임시저장 파일을 찾지 못하는등 정상적인 결과가 출력 되지 않는다. 에러 발생도 하지 않음.
7. 레퍼런스
https://docs.aws.amazon.com/cdk/api/latest/typescript/api/index.html
https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/with-s3-example.html
AWS Lambda@edge로 실시간 이미지 리사이징(수정됨-190826) | HEROPY
AWS Lambda@Edge에서 실시간 이미지 리사이즈 & WebP 형식으로 변환 — 당근마켓 팀블로그 — Medium
— — — — — — — —
다음에서는 이어서 Gif To Mp4 Transform 관련 Lambda 를 작업 예정 입니다.
— — — — — — — —

AWS CDK Basic Guide

댓글