5:39 6/07
wookiist.dev
5:39
wookiist.dev
욱이의 IT 생존일지wookiist.dev
Go언어와 Kubernetes를 좋아하는 엔지니어입니다.
꾸준히 배웁니다.
저작도구: TISTORY
최종 피드 수집: 2024-04-16 04:47
전체 (51)
1M
1y
1y
1y
[Airflow] Backfill과 Clear를 정리해보자
Backfill데이터 파이프라인을 운용하다보면, 이미 지난 날짜를 기준으로 재처리를 해야 하는 일이 왕왕 있습니다. 백필은 바로 이 재처리 작업을 의미합니다. 단어의 의미 그대로 ‘메우는 작업'이라고 생각하면 될 듯합니다.
Ba
Airflow
Backfill
data
+ 더보기
De
pipeline
데이터
백필
에어플로
파이프라인
1y
[Airflow] PythonSensor에 pod override 옵션 적용하기
PythonSensor & Kubernetes Excutor최근에 Kubernetes Executor를 사용할 때 PythonSensor의 pod_override 옵션을 어떻게 적용해야 하나 하는 문제로 헤맸던 적이 있습니다.
Airflow
k8s
KubernetesExecutor
+ 더보기
PythonOperator
PythonSensor
에어플로
1y
[Hadoop] WebHDFS와 HttpFS는 무엇이 다른걸까?
Intro얼마전, 회사에서 MLE 분이 HDFS에서 뭔가 다운로드 받고 싶으시다고 WebHDFS 경로를 문의주셨습니다. 그런데 저희 시니어 팀원 분께서 WebHDFS가 아닌 HttpFS를 쓰시도록 권고를 해주시길래, 어떤 차이가
Hadoop
data
Data Engineering
+ 더보기
De
hadoop
HDFS
HttpFS
WebHDFS
데이터 엔지니어
하둡
1y
[Storage] Block Storage와 File Storage
Block Storage vs. File Storage최근 Ceph 관련 장애를 겪으면서, 스토리지 개념에 대해 정리 해볼 필요성을 느꼈습니다. 대충, ReadWriteOnce로 쓸 때는 Ceph-Block 을 쓰면 되고, Re
IT WIKI
block storage
file storage
+ 더보기
Storage
스토리지
저장소
1y
[Airflow] Pool
PoolAirflow가 동시에 실행하는 Task가 너무 많을 경우, 시스템에 부하를 줄 수 있습니다. Pool은 이러한 문제가 발생하는 것을 방지하기 위해, 해당 Pool을 사용하는 DAG들에서 병렬로 실행되는 Task의 개수를
Airflow
Data Engineering
pool
+ 더보기
workflow
데이터 엔지니어링
에어플로
워크플로
풀
1y
[Airflow] Dynamic Task Mapping (동적 태스크 매핑)
Introduction최근 사내에서 사용하는 몇몇 Airflow 클러스터 관리를 담당하게 되면서 Airflow 2.3.0으로의 버전업을 진행하게 되었습니다. 사실 이전에 다뤘던 두 포스트도 그 일환으로 작성했던 내용이네요 ㅎㅎ
Airflow
2.3.0
data
+ 더보기
Data Engineering
Dynamic Task Mapping
데이터 엔지니어링
동적 태스크 매핑
에어플로
에어플로우
1y
[Airflow] Sensor를 정리해보자
Overview최근 들어 Airflow를 적극적으로 다루는 일이 많아지다보니, 여러 요구사항을 만나게 되는데요. Airflow 자체적으로 제공하지 않는 스케줄링 처리, 특정 파일 및 조건을 만족할 때까지 대기하는 구간 등을 정의
Airflow
Deferrable Operator
operator
+ 더보기
sensor
센서
에어플로
오퍼레이터
1y
2y
[wookiist] 프로그래머스 Data Engineering 스터디 후기
시작에 앞서, 본 스터디는 모두 제 사비로 구매하여 수강한 것임을 먼저 밝힙니다!데이터 엔지니어..?!
이번에 데이터 엔지니어로 합류하게 된 후, 여러 고민을 많이 했습니다. 특히, 지금까지 해오던 분야와 전혀 다른 Data라는
욱이
data
Data Engineer
+ 더보기
Data Engineering
programmers
Study
데이터
데이터 엔지니어
데이터 엔지니어링
스터디
프로그래머스
2y
2y
[후기] '에어비앤비 엔지니어가 행복하게 일할 수 있는 이유' 영상을 보고 나서
Prologue8월 1일 이후, 블로그에 포스트를 올리지 못했습니다. 개인적인 성장을 위해 바쁘게 살다보니 생각을 정리할 새도 없었던 것 같습니다.
오랜만에 작성한 이 글은 유튜브 EO 채널에서 에어비앤비 유호현 엔지니어님을
욱이
rank-driven
role-driven
+ 더보기
기업문화
실리콘밸리
엔지니어
역할조직
위계조직
혁신
2y
[Kubernetes] Kubernetes Study: "Pod - Lifecycle"
Prologue본 포스트는 인프런 쿠버네티스 스터디 그룹에서 진행하는 스터디 자료의 일환으로 작성하였습니다. 기본적으론 [대세는 쿠버네티스] 강의를 보고 내용을 정리합니다. 그리고 제 경험이나 이해를 곁들여 포스트를 작성했습니
Kubernetes
Container
inflearn
+ 더보기
k8s
pod
인프런
컨테이너
쿠버네티스
파드
2y
[PS/Golang] 회문 순열
Prologue회문 순열 문제를 너무 바보같이 푼게 화가 나서 방금 올렸던 Python 이후에 Go로도 짜보았습니다.. ㅋㅋㅋㅋ 아으아!!!!!!! 이렇게 구현하면, 사실상 O(n) 만에 해결 가능합니다.
코드
package
PS
Coding Test
Go
+ 더보기
Golang
Palindrome
Problem Solving
코딩 테스트
팰린드롬
회문 순열
2y
[PS/Python] 회문 순열
Prologue아... 회문 순열 문제를 풀고나서 영 찜찜해서 다시 생각해보니 딕셔너리만 쓰면 되는 문제였습니다. 바보같이 Permutation쓰고 is_palindrome 구현하고.. ㅋㅋㅋㅋㅋ 무슨 뻘짓을 한 거지!
딕셔너리
PS
Coding Test
Palindrome
+ 더보기
Problem Solving
코딩 테스트
팰린드롬
회문 순열
2y
[DevOps/번역글] Helm vs Kustomize: 어떻게 배포할 것인가?
Prologue패키징 작업을 하다보면 Helm과 Kustomize를 사용하는 예제들을 종종 찾아볼 수 있습니다. 그러나 정작 둘의 차이점은 명확하게 알지 못한 채, "그냥 클러스터에 패키지 배포 쉽게 해주는 녀석 아니야?"라는
DevOps
CI/CD
helm
+ 더보기
k8s
Kubernetes
Kustomize
데브옵스
번역
번역글
쿠버네티스
2y
[Kubernetes] Kubernetes Study: "컨트롤러 - DaemonSet, Job, CronJob"
Prologue본 포스트는 인프런 쿠버네티스 스터디 그룹에서 진행하는 스터디 자료의 일환으로 작성하였습니다. 기본적으론 [대세는 쿠버네티스] 강의를 보고 내용을 정리합니다. 그리고 제 경험이나 이해를 곁들여 포스트를 작성했습니
Kubernetes
Cronjob
DaemonSet
+ 더보기
Job
k8s
데몬셋
잡
컨트롤러
쿠버네티스
크론잡
2y
[Kubernetes] Kubernetes Study: "컨트롤러 - Deployment (feat. Canary)"
Prologue본 포스트는 인프런 쿠버네티스 스터디 그룹에서 진행하는 스터디 자료의 일환으로 작성하였습니다. 기본적으론 [대세는 쿠버네티스] 강의를 보고 내용을 정리합니다. 그리고 제 경험이나 이해를 곁들여 포스트를 작성했습니다
Kubernetes
CANARY
controller
+ 더보기
Deployment
k8s
replicaset
디플로이먼트
카나리
컨트롤러
쿠버네티스