5:39 6/07
wookiist.dev
5:39
wookiist.dev
욱이의 IT 생존일지wookiist.dev
Go언어와 Kubernetes를 좋아하는 엔지니어입니다.
꾸준히 배웁니다.
저작도구: TISTORY
최종 피드 수집: 2024-11-11 05:47
전체 (51)
8M
2y
2y
2y
[Airflow] Backfill과 Clear를 정리해보자
Backfill데이터 파이프라인을 운용하다보면, 이미 지난 날짜를 기준으로 재처리를 해야 하는 일이 왕왕 있습니다. 백필은 바로 이 재처리 작업을 의미합니다. 단어의 의미 그대로 ‘메우는 작업'이라고 생각하면 될 듯합니다.
Ba
Airflow
Backfill
data
+ 더보기
De
pipeline
데이터
백필
에어플로
파이프라인
2y
[Airflow] PythonSensor에 pod override 옵션 적용하기
PythonSensor & Kubernetes Excutor최근에 Kubernetes Executor를 사용할 때 PythonSensor의 pod_override 옵션을 어떻게 적용해야 하나 하는 문제로 헤맸던 적이 있습니다.
Airflow
k8s
KubernetesExecutor
+ 더보기
PythonOperator
PythonSensor
에어플로
2y
[Hadoop] WebHDFS와 HttpFS는 무엇이 다른걸까?
Intro얼마전, 회사에서 MLE 분이 HDFS에서 뭔가 다운로드 받고 싶으시다고 WebHDFS 경로를 문의주셨습니다. 그런데 저희 시니어 팀원 분께서 WebHDFS가 아닌 HttpFS를 쓰시도록 권고를 해주시길래, 어떤 차이가
Hadoop
data
Data Engineering
+ 더보기
De
hadoop
HDFS
HttpFS
WebHDFS
데이터 엔지니어
하둡
2y
[Storage] Block Storage와 File Storage
Block Storage vs. File Storage최근 Ceph 관련 장애를 겪으면서, 스토리지 개념에 대해 정리 해볼 필요성을 느꼈습니다. 대충, ReadWriteOnce로 쓸 때는 Ceph-Block 을 쓰면 되고, Re
IT WIKI
block storage
file storage
+ 더보기
Storage
스토리지
저장소
2y
[Airflow] Pool
PoolAirflow가 동시에 실행하는 Task가 너무 많을 경우, 시스템에 부하를 줄 수 있습니다. Pool은 이러한 문제가 발생하는 것을 방지하기 위해, 해당 Pool을 사용하는 DAG들에서 병렬로 실행되는 Task의 개수를
Airflow
Data Engineering
pool
+ 더보기
workflow
데이터 엔지니어링
에어플로
워크플로
풀
2y
[Airflow] Dynamic Task Mapping (동적 태스크 매핑)
Introduction최근 사내에서 사용하는 몇몇 Airflow 클러스터 관리를 담당하게 되면서 Airflow 2.3.0으로의 버전업을 진행하게 되었습니다. 사실 이전에 다뤘던 두 포스트도 그 일환으로 작성했던 내용이네요 ㅎㅎ
Airflow
2.3.0
data
+ 더보기
Data Engineering
Dynamic Task Mapping
데이터 엔지니어링
동적 태스크 매핑
에어플로
에어플로우
2y
[Airflow] Sensor를 정리해보자
Overview최근 들어 Airflow를 적극적으로 다루는 일이 많아지다보니, 여러 요구사항을 만나게 되는데요. Airflow 자체적으로 제공하지 않는 스케줄링 처리, 특정 파일 및 조건을 만족할 때까지 대기하는 구간 등을 정의
Airflow
Deferrable Operator
operator
+ 더보기
sensor
센서
에어플로
오퍼레이터
2y
2y
[wookiist] 프로그래머스 Data Engineering 스터디 후기
시작에 앞서, 본 스터디는 모두 제 사비로 구매하여 수강한 것임을 먼저 밝힙니다!데이터 엔지니어..?!
이번에 데이터 엔지니어로 합류하게 된 후, 여러 고민을 많이 했습니다. 특히, 지금까지 해오던 분야와 전혀 다른 Data라는
욱이
data
Data Engineer
+ 더보기
Data Engineering
programmers
Study
데이터
데이터 엔지니어
데이터 엔지니어링
스터디
프로그래머스
2y
3y
[후기] '에어비앤비 엔지니어가 행복하게 일할 수 있는 이유' 영상을 보고 나서
Prologue8월 1일 이후, 블로그에 포스트를 올리지 못했습니다. 개인적인 성장을 위해 바쁘게 살다보니 생각을 정리할 새도 없었던 것 같습니다.
오랜만에 작성한 이 글은 유튜브 EO 채널에서 에어비앤비 유호현 엔지니어님을
욱이
rank-driven
role-driven
+ 더보기
기업문화
실리콘밸리
엔지니어
역할조직
위계조직
혁신
3y
[Kubernetes] Kubernetes Study: "Pod - Lifecycle"
Prologue본 포스트는 인프런 쿠버네티스 스터디 그룹에서 진행하는 스터디 자료의 일환으로 작성하였습니다. 기본적으론 [대세는 쿠버네티스] 강의를 보고 내용을 정리합니다. 그리고 제 경험이나 이해를 곁들여 포스트를 작성했습니
Kubernetes
Container
inflearn
+ 더보기
k8s
pod
인프런
컨테이너
쿠버네티스
파드
3y
[PS/Golang] 회문 순열
Prologue회문 순열 문제를 너무 바보같이 푼게 화가 나서 방금 올렸던 Python 이후에 Go로도 짜보았습니다.. ㅋㅋㅋㅋ 아으아!!!!!!! 이렇게 구현하면, 사실상 O(n) 만에 해결 가능합니다.
코드
package
PS
Coding Test
Go
+ 더보기
Golang
Palindrome
Problem Solving
코딩 테스트
팰린드롬
회문 순열
3y
[PS/Python] 회문 순열
Prologue아... 회문 순열 문제를 풀고나서 영 찜찜해서 다시 생각해보니 딕셔너리만 쓰면 되는 문제였습니다. 바보같이 Permutation쓰고 is_palindrome 구현하고.. ㅋㅋㅋㅋㅋ 무슨 뻘짓을 한 거지!
딕셔너리
PS
Coding Test
Palindrome
+ 더보기
Problem Solving
코딩 테스트
팰린드롬
회문 순열
3y
[DevOps/번역글] Helm vs Kustomize: 어떻게 배포할 것인가?
Prologue패키징 작업을 하다보면 Helm과 Kustomize를 사용하는 예제들을 종종 찾아볼 수 있습니다. 그러나 정작 둘의 차이점은 명확하게 알지 못한 채, "그냥 클러스터에 패키지 배포 쉽게 해주는 녀석 아니야?"라는
DevOps
CI/CD
helm
+ 더보기
k8s
Kubernetes
Kustomize
데브옵스
번역
번역글
쿠버네티스
3y
[Kubernetes] Kubernetes Study: "컨트롤러 - DaemonSet, Job, CronJob"
Prologue본 포스트는 인프런 쿠버네티스 스터디 그룹에서 진행하는 스터디 자료의 일환으로 작성하였습니다. 기본적으론 [대세는 쿠버네티스] 강의를 보고 내용을 정리합니다. 그리고 제 경험이나 이해를 곁들여 포스트를 작성했습니
Kubernetes
Cronjob
DaemonSet
+ 더보기
Job
k8s
데몬셋
잡
컨트롤러
쿠버네티스
크론잡
3y
[Kubernetes] Kubernetes Study: "컨트롤러 - Deployment (feat. Canary)"
Prologue본 포스트는 인프런 쿠버네티스 스터디 그룹에서 진행하는 스터디 자료의 일환으로 작성하였습니다. 기본적으론 [대세는 쿠버네티스] 강의를 보고 내용을 정리합니다. 그리고 제 경험이나 이해를 곁들여 포스트를 작성했습니다
Kubernetes
CANARY
controller
+ 더보기
Deployment
k8s
replicaset
디플로이먼트
카나리
컨트롤러
쿠버네티스
3y
[Kubernetes] Kubernetes Study: "컨트롤러 - ReplicaSet"
Prologue본 포스트는 인프런 쿠버네티스 스터디 그룹에서 진행하는 스터디 자료의 일환으로 작성하였습니다. 기본적으론 [대세는 쿠버네티스] 강의를 보고 내용을 정리합니다. 그리고 제 경험이나 이해를 곁들여 포스트를 작성했습니
Kubernetes
controller
inflearn
+ 더보기
k8s
pod
replicaset
스터디
인프런
컨트롤러
쿠버네티스
3y
[DevOps] Github Actions냐 Jenkins냐! 올바른 선택을 해봅시다
시작하기에 앞서, 본 포스트는 "Github Actions or Jenkins? Making the Right Choice for You" 를 읽고 한국어로 정리하기 위해 쓴 번역 글입니다. 오역이 있거나 미숙한 번역이 있을 수DevOps
CD
CI
+ 더보기
cicd
github
Github Actions
Jenkins
깃헙
데브옵스
젠킨스
3y
[DevOps] ArgoCD Slack Notification 설정하기
PrologueArgoCD를 사용하게 된 이래로, 재배포나 자동 배포에 대한 불편함이 많이 사라졌습니다. 팀 DevOps 파이프라인의 CD 쪽의 개선이 이루어져서 사용하시는 분들께서도, "이젠 이 파이프라인 없으면 못 살 것 같
DevOps
Argo
argocd
+ 더보기
cicd
k8s
Kubernetes
slack
데브옵스
슬랙
쿠버네티스
3y
[Kubernetes] Kubernetes Study: "기본 오브젝트 - Namespace & ResourceQuota & LimitRange"
Prologue본 포스트는 인프런 쿠버네티스 스터디 그룹에서 진행하는 스터디 자료의 일환으로 작성하였습니다. 기본적으론 [대세는 쿠버네티스] 강의를 보고 내용을 정리합니다. 그리고 제 경험이나 이해를 곁들여 포스트를 작성했습니다
Kubernetes
Container
k8s
+ 더보기
limit range
namespace
resourcequota
네임스페이스
리소스쿼터
컨테이너
쿠버네티스
3y
[Kubernetes] Kubernetes Study: "기본 오브젝트 - ConfigMap & Secret"
Prologue본 포스트는 인프런 쿠버네티스 스터디 그룹에서 진행하는 스터디 자료의 일환으로 작성하였습니다. 기본적으론 [대세는 쿠버네티스] 강의를 보고 내용을 정리합니다. 그리고 제 경험이나 이해를 곁들여 포스트를 작성했습니다
Kubernetes
configmap
Container
+ 더보기
k8s
secret
시크릿
컨테이너
컨피그맵
쿠버네티스
3y
3y
[Kubernetes] Kubernetes Study: "기본 오브젝트 - Service"
Prologue본 포스트는 인프런 쿠버네티스 스터디 그룹에서 진행하는 스터디 자료의 일환으로 작성하였습니다. 기본적으론 [대세는 쿠버네티스] 강의를 보고 내용을 정리합니다. 그리고 제 경험이나 이해를 곁들여 포스트를 작성했습니다
Kubernetes
clusterip
Container
+ 더보기
k8s
loadbalancer
NodePort
Service
서비스
컨테이너
쿠버네티스
3y
3y
[DevOps] Docker-Compose를 이용해 Harbor 구축하기
Prologue사내에서 자체적으로 운용할 Private Container Registry가 필요해서 초기에는 간단하게 Docker에 docker-registry 이미지를 이용해 아주 간단한 형태로 배포해서 사용하고 있었는데요.
DevOps
Container
docker
+ 더보기
docker-compose
harbor
IMAGE
데브옵스
도커
이미지
컨테이너
3y
[BOJ/11053/Golang&Python] 백준 11053 - 가장 긴 증가하는 부분 수열
[BOJ/11053/Golang&Python] 백준 11053 - 가장 긴 증가하는 부분 수열문제로 이동하기
https://www.acmicpc.net/problem/11053
접근 방식
가장 긴 증가하는 부분 수열은 Longe
BOJ
Coding Test
dynamic programming
+ 더보기
Go
Golang
go언어
python
다이나믹 프로그래밍
백준
코딩테스트
3y
[Kubernetes] 깔끔하게 kubeadm reset 하기
Prologue클러스터를 잘못 구축했을 때, 이거 저거 생각할 필요 없이 클러스터를 날려버리고 싶었습니다. 단순히 kubeadm을 이용해 배포하는 단계부터 다시 시작하고 싶었기 때문입니다. 예전에 찾아둔 방법인데, 이제야 공유합
Kubernetes
Container
docker
+ 더보기
k8s
kubeadm
Reset
도커
컨테이너
쿠버네티스
3y
[Kubernetes] kubeadm을 이용해 Kubernetes 클러스터를 구축해보자
프롤로그지난 포스트 "[containerd] containerd를 CRI 런타임으로 하는 Kubernetes 클러스터를 구축해보자" 에 이어서 이번엔 Kubernetes 클러스터를 구축해보겠습니다. 본 포스트에선 이미 CRI 런
Kubernetes
Container
containerd
+ 더보기
DevOps
docker
k8s
kubeadm
인프라
쿠버네티스
클러스터
3y
[BOJ/11053/Golang&Python] 백준 11053 - 가장 긴 증가하는 부분 수열
[BOJ/11053/Golang&Python] 백준 11053 - 가장 긴 증가하는 부분 수열문제로 이동하기
https://www.acmicpc.net/problem/11053
접근 방식
가장 긴 증가하는 부분 수열은 Longe
BOJ
Coding Test
dynamic programming
+ 더보기
Go
Golang
go언어
python
다이나믹 프로그래밍
백준
코딩테스트
3y
[IT Wiki] Github 커밋에 VERIFIED 태그 다는 법(macOS)
프롤로그언젠가 예전부터 사용하던 맥북프로에서 커밋했을 땐, 아래처럼 예쁜 VERIFIED 마크가 붙어서 나왔는데, 최근에 주력으로 사용하고 있는 맥 미니에서 커밋을 하면 태그가 붙어 있지 않은 것을 볼 수 있었습니다. 처음에는
IT WIKI
COMMIT
GIT
+ 더보기
github
MAC
verified
깃
깃헙
맥
커밋
3y
[containerd] containerd를 CRI 런타임으로 하는 Kubernetes 클러스터를 구축해보자
Prologue사내에서 테스트 용도로 사용할 쿠버네티스 클러스터가 필요해서 급하게 VM을 만들고 구축을 하려던 참이었습니다. 이전에 올렸던 글에서 소개드린 것처럼, 1.20 릴리즈부터는 Docker가 Deprecated 되었다는
containerd
Container
CRI
+ 더보기
docker
k8s
Kubernetes
도커
컨테이너
컨테이너 런타임 인터페이스
쿠버네티스
3y
[Kubernetes] Helm Chart 만들기
Prologue일반적으로 Kubernetes Manifest 파일은 정적인 형태입니다. 따라서 데이터를 수정하기 위해선 파일 자체를 수정해야 합니다. 잘 관리를 한다면야 큰 어려움은 없겠지만, 문제는 CI/CD 등 자동화된 파이
Kubernetes
chart
cicd
+ 더보기
DevOps
helm
helm chart
k8s
차트
쿠버네티스
헴
3y
[DevOps] Jenkins Pipeline이 종료되지 않는 경우
Prologue평화롭게 파이프라인 구성을 위한 테스팅을 진행하던 중, 갑자기 파이프라인이 종료되지 않는 문제가 발생했습니다. 스택 오버 플로우를 찾아보니, "Script Console"에서 명령줄을 넣어 실행하면 종료된다고 합니
DevOps
build
docker
+ 더보기
Jenkins
pipeline
데브옵스
도커
빌드
젠킨스
파이프라인
3y
[Kubernetes] kubectx를 활용해서 멀티 클러스터를 관리하자
Prologue사내에서 사용하던 클러스터가 1개라 그동안은 멀티 클러스터 관리에 그다지 관심을 두지 않았습니다. 하지만 개발용 클러스터와 실사용 클러스터를 분리하고 제 로컬에 있는 데스크탑 클러스터까지 사용하게 되다보니 이제는
Kubernetes
k8s
KUBECTL
+ 더보기
kubectx
plugin
컨텍스트
쿠버네티스
쿠베
클러스터
플러그인
3y
[DevOps] ArgoCD Best Practice
Prologue최근 들어, 팀 내부의 CI/CD 파이프라인을 구축하기 위해 다양한 오픈 소스 툴을 살펴보고 있습니다. ArgoCD는 CD 쪽 파트를 담당하는 훌륭한 도구입니다. 하지만 이런 도구를 활용할 때 어떻게 하면 더 효율
DevOps
Argo
argocd
+ 더보기
CI/CD
cicd
helm
Kubernetes
데브옵스
아르고
쿠버네티스
3y
[BOJ/16946/Golang] 백준 16946 - 벽 부수고 이동하기 4
문제로 이동하기https://www.acmicpc.net/problem/16946
여담
아... 처음엔 시간초과로, 이후엔 갈피를 잡지 못하다가, 결국 힌트를 보고 나서야 아 맞네!! 하고 바로 풀어냈습니다 ㅋㅋㅋ 엄청 단순하게
BOJ
BFS
Coding Test
+ 더보기
dfs
Go
Golang
go언어
깊이 우선 탐색
너비 우선 탐색
백준
코딩 테스트
3y
[BOJ/12886/Golang] 백준 12886 - 돌 그룹
문제로 이동하기https://www.acmicpc.net/problem/12886
여담
Gold 5 문제입니다. BFS에는 나름 자신감이 붙게 만들어준 문제입니다. 이제는 Gold도 두렵지 않다..! 뭐 이런거죠 ㅋㅋㅋ.. 사실
BOJ
BFS
Coding Test
+ 더보기
Go
Golang
go언어
너비 우선 탐색
백준
알고리즘
코딩 테스트
3y
[Kubernetes] Kubernetes 인증서가 만료되었을 때 해결 방법
Prologue언제나처럼 kubectl 을 사용하려는데 다음과 같은 에러가 발생했습니다. '어이쿠 인증서 문제네...' 하면서 생각해보니, 이 클러스터를 구축해둔지 벌써 1년이라는 시간이 지났더군요. 갱신을 한 번은 해줬어야 했
Kubernetes
cert
Certification
+ 더보기
k8s
kubeadm
Kubeadmin
kubelet
인증서
인증서 만료
쿠버네티스
3y
[BOJ/17070/Golang] 백준 17070 - 파이프 옮기기 1
문제로 이동하기https://www.acmicpc.net/problem/17070
여담
오랜만에 DP를 풀어봤습니다. 솔직히 요즘 BFS만 공부하다보니 DP에 소홀해져서 많이 걱정했는데, 스스로 이 문제를 풀게 돼서 정말 기쁘고
BOJ
Coding Test
dp
+ 더보기
dynamic programming
Go
Golang
go언어
그래프
다이나믹 프로그래밍
백준
코딩 테스트
3y
[BOJ/16947/Golang] 백준 16947 - 서울 지하철 2호선
문제로 이동하기https://www.acmicpc.net/problem/16947
접근 방식
큰 순서는 다음과 같습니다.
그래프 내의 모든 사이클과 사이클에 속한 정점을 구한다.
사이클에 속한 정점에 연결된 정점들 중 사이클에
BOJ
BFS
Coding Test
+ 더보기
Go
Golang
go언어
그래프
너비우선탐색
백준
코딩 테스트
3y
[BOJ/13549/Golang] 백준 13549 - 숨바꼭질 3 - BFS로 풀이
문제로 이동하기https://www.acmicpc.net/problem/13549
접근 방식
앞서 소개 드렸던 이모티콘 문제와 마찬가지로, 이 문제도 BFS와 DP 모두 사용이 가능합니다. 저는 BFS로 해결했는데, 결과를 보니
BOJ
BFS
Coding Test
+ 더보기
dp
Go
Golang
go언어
너비 우선 탐색
백준
알고리즘
3y
[BOJ/14226/Golang] 백준 14226 - 이모티콘 - BFS로 풀이
접근 방식이 문제는 BFS로도 접근이 가능하고, DP로도 가능합니다. DP가 더 빠른 성능을 보여주기 때문에 수행 시간에 민감하다면 DP로 접근하는 것이 바람직합니다.
여기서는 BFS를 연습하기 위해 BFS로 접근해보겠습니다.
BOJ
BFS
Coding Test
+ 더보기
dp
Go
Golang
go언어
너비 우선 탐색
다이나믹 프로그래밍
백준
3y
[BOJ/13913/Golang] 백준 13913 - 숨바꼭질 4
접근 방식오랜만에 풀어본 BFS 문제입니다. 일반 숨바꼭질 문제와 똑같습니다만 추가로 이동 방법까지 출력해야 하는 문제입니다. 이동 방법을 구하는 문제라면 이전에도 살펴보았듯이 이전 부모의 이력을 계속 기록해놓았다가 마지막에 역
BOJ
BFS
Coding Test
+ 더보기
Go
Golang
go언어
graph
그래프
너비우선탐색
백준
3y
[BOJ/1629/Golang] 백준 1629 - 곱셈
접근 방식처음엔 그냥 막 곱하면 되는 줄 알았습니다.
생각해보니 21억번을 제곱하려면, 그냥 곱해서는 안 되고, memoization이라도 해야하나 싶었습니다. 하지만 memoization도 적당히 공간을 잡아야 쓸 수 있지,
BOJ
CodingTest
Go
+ 더보기
Golang
go언어
거듭제곱
백준
분할정복
알고리즘
코딩테스트
3y
[Docker] 도커 재시작 없이 CA 인증서만 업데이트하는 방법
Prologue그동안 사내에서 Private Registry를 구축해서 사용하다보니, HTTPS 인증 때문에 인증서 파일을 업데이트하고 도커 데몬을 재시작해주어야 하는 경우가 종종 있었습니다. 만약에 도커 데몬을 재시작하지 않은
Docker
Ca
Certification
+ 더보기
Container
docker
IMAGE
Private Registry
registry
도커
인증서
컨테이너
3y
[Go/Golang] 구조체 JSON 변환 시, omitempty가 적용되지 않는 경우
PrologueGo에서 오브젝트를 JSON으로 변환하려면, 해당 오브젝트를 기술하는 구조체가 선언되어 있어야 합니다. 예를 들자면 다음과 같습니다.
type Score struct {
Korean uint `json:"
Go
Encoding
Golang
+ 더보기
go언어
JSON
marshaling
omitempty
struct
구조체