12:31 5/31
www.kwangsiklee.com
12:31
www.kwangsiklee.com
KWANGSIK LEE’s loghttp://www.kwangsiklee.com/
자바 스프링 성능을 다루는 블로그
저작도구: https://wordpress.org/?v=4.6.1
최종 피드 수집: 2024-12-10 22:47
전체 (94)
1M
1M
보험사에 3년간 데이터 엔지니어로 근무해본 후기
개요 필자는 보험사에 만 3년 동안 재직을 하였다가 이번에 이직을 하려고 한다. 이에 따라 3년간 무엇을 했는지 정리를 하고자 한다. 주로 한일은 AWS 기반으로 데이터 레이크를 1인 개발로써 완성하였는데 속도, 핵심기술력확보,AWS
amazon
aws
+ 더보기
cloud
re:invent
summit
리인벤트
서밋
아마존
클라우드
2M
4M
개요 AWS SNS를 통해 Slack 알림을 보낼일이 생겼다. 이방법을 찾아 본 뒤 막힐만한 부분만 따로 정리한다. 개념 요약 SNS Topic -> Lambda Function -> Slack Web hook 으로 알림 전송 슬
Slack
amazon
aws
+ 더보기
slack
sns
webhook
7M
AWS에서 Baram을 써보자.
개요 시중에 파이썬 코드로 AWS 서비스를 다루는 SDK로 boto3라는 훌륭한 패키지가 있다. 그러나 엔터프라이즈 환경에서 작업을 하려면 vanilla API만으로는 부족하고 추가적인 작업을 위한 코드 스니펫이 필요하였다. 이런AWS
aws
baram
+ 더보기
cloud
Python
아마존
클라우드
파이썬
7M
Airflow Metastore 클렌징 하기
개요 필자는 Airflow를 AWS환경에서 MWAA 환경으로 사용중이다. MWAA 사용 기간이 늘어남에 따라 자연스럽게 Dag 생성/삭제가 반복 되었는데 문제는 소스코드 상에서는 분명히 지워졌는데 Web UI에서는 계속 dag cAirFlow
airflow
aws
+ 더보기
cloud
mwaa
므와
아마존
아마존웹서비스
에어플로우
클라우드
10M
11M
Data Lake 구축: Airflow 설계 및 기술적 특징
개요 데이터 레이크에서 MWAA를 이용하여 Airflow를 구축하면서 수립한 아키텍처와 기술적 특징에 대해 정리해본다. 아키텍처 구축하는 데이터 레이크는 On-Prem에서 데이터를 옮긴 뒤 클라우드 S3를 data lake로 삼고AirFlow
airflow
amazon
+ 더보기
aws
cloud
data lake
mwaa
데이터레이크
아마존
클라우드
1y
Data Lake 구축: Glue ETL 설계 및 기술적 특징
개요 data lake에 있어 어떤 기술로 ETL을 수행하는지는 편의성, 신뢰성, 성능 등과 관련이 있고 한번 정하면 다시 되돌리기 어렵기 때문에 신중한 선택이 필요한 영역이라 생각한다. 오버뷰 글에 이어 이번 시간에는 Glue와Glue
amazon
aws
+ 더보기
cloud
glue
pandas
spark
wrangler
스파크
아마존
클라우드
1y
[공유] 금융사에서 클라우드 기반 Data Lake 만든 후기
1. 개요 약 2년간 구축한 금융권 데이터 레이크를 회고해 보고자 한다. 간단히 어떤 목표로 구성을 하였으며 어떤 기술적인 특징이 있는지 알아 본 뒤 얻은점과 아쉬운 점을 나열해보고자 한다. 2. 요구사항 및 현황 요구사항은 매우AWS
amazon
athena
+ 더보기
aws
cloud
data lake
glue
quick sight
s3
sagemaker
데이터 레이크
데이터레이크
아마존
클라우드
1y
1y
Data Lake Naming Convention 정하기
개요 데이터 레이크를 구축하며 전체적인 디렉토리/파일명, 각종 Job 명의 Naming Convention을 정의할 필요가 생겨 이를 정리해둔다. 배경 Phase(운영환경)는 beta와 prod로 이원화 되어있다. On-Prem에AWS
amazon
aws
+ 더보기
cloud
naming convention
네이밍 컨벤션
아마존
클라우드
1y
[개념정리] AWS Transfer Family
개요 AWS Transfer Family는 AWS에 일반적으로 많이 쓰는 프로토콜을 활용해 AWS 스토리지 서비스로 파일을 전송할 수 있는 보안 전송 서비스이다. 예를 들어 On-Prem에서 SCP나 FTP로 Transfer FaAWS
amazon
aws
+ 더보기
cloud
transfer family
아마존
클라우드
1y
Kinesis Agent를 다뤄보자
개요 Kinesis Agent를 이용한 Data Streams, Firehose 전송을 테스트 해본 뒤 기록해둔다. agent 설치방법 github 코드로 직접 아래 스크립트로 설치했다. sudo ./setup --installAWS
amazon
aws
+ 더보기
cloud
data streams
firehose
kinesis
아마존
클라우드
1y
[문제해결] PyCharm 특정 라이브러리 자동완성 안되는 현상
개요 aws cdk 를 쓰는 중에 aws_ec2 패키지만 유독 자동완성 및 코드 점프가 안되어 원인 및 해결 방법을 찾아본 뒤 정리해둔다. 해결방법 코드 파일 크기가 default 크기인 약 2MB를 넘어가서 불러오지 못하는 현상Pycharm
auto_complete
aws
+ 더보기
cdk
pycharm
자동완성
1y
1y
[내용정리] DSBA 04-6 GBM에 대해 알아보자.
04-6 Gradient Boosting Machine (GBM) 개요 ****04-6: Ensemble Learning – Gradient Boosting Machine (GBM)** 강의를 보고 내용을 정리해둔다. 내용정리 GMachineLearning
gbm
gradient boosting machine
+ 더보기
machine laerning
머신러닝
1y
[내용정리] Ensemble Learning
개요 Ensemble Learning 자료를 보고 정리해둔다. 내용 정리 만능의 최적의 알고리즘이 존재하는가? 모든 데이터에 대한 만능 알고리즘은 존재하지 X, 공짜 점심은 없음 모든 알고리즘이 최소 2개 이상의 데이터셋에서 beMachineLearning
ensemble learning
machine learning
+ 더보기
ml
기계학습
앙상블
1y
Ada Boost에 대해 알아보자.
개요 Ada Boost에 대해 알아 본 뒤 정리해둔다. 컨셉 strong model vs weak model weak 모델은 랜덤 추측보다 조금 더 잘하는것 weak 모델은 strong model 까지 부스팅 될 수 있음 boosMachineLearning
ada boost
boosting tree
+ 더보기
machine learning
머신러닝
부스팅
2y
Sagemaker Studio에 커스텀 이미지 등록하기
개요 Sagemaker Studio에 전용 도커 이미지를 등록하는 방법을 정리해둔다. 전제 ECR에 이미 Docker 이미지는 Push되어 있다고 가정한다. Custom Image 등록방법 Images 란을 클릭한다. CreateSagemaker
amazon
aws
+ 더보기
cloud
Docker
image
machine learning
sagemaker studio
머신러닝
아마존
클라우드