<div id="readability-page-1" class="page"><div><h3 id="1-꼭-닮은-기술">1. 꼭 닮은 기술</h3>
<p>빅데이터 병렬 처리를 돕는 스파크에 대한 책을 슥슥 읽고 있다. 책을 읽다보니 자바의 병렬 스트림이 생각난다. 둘이 무척 닮아 있다. 자바 병렬 스트림은 하나의 노드(컴퓨터) 안에서 CPU 코어를 병렬로 사용해 데이터를 처리하는 방법을 제공한다면, 스파크는 클러스터 컴퓨팅으로 개념을 확장하여 여러 노드가 병렬로 더 큰 데이터를 처리하는 방법을 제공하고 있다. 또한 자바 스트림은 연산을 중간 연산과 최종 연산으로 나누는데 중간 연산들로 파이프라인을 구성하되 즉시 실행하지 않고 최종 연산이 실행될 때 비로소 실행된다. 이러한 게으른(Lazy) 특성을 통해 파이프라이닝된 중간 연산들을 전체 작업 목적 안에서 최적화된 실행 계획을 세워 실행하게 된다. 예를 들면 어떤 중간 연산들은 하나의 루프 안에서 함께 처리한다거나, 최종적으로 필요한 데이터 범위를 보고 불필요한 이터레이션을 제거하는 기법 등이 적용된다. 스파크에는 중간 연산에 해당하는 트랜스포메이션과 최종 연상에 해당하는 액션이 있으며 트랜스포메이션은 역시 게으른 특성을 가지고 최적화된 실행 계획이 세워진다. 요즘 새로운 기술들을 접하다 보면 큰 개념을 같이 하는 것들을 자주 접하게 되는 것 같다.</p>
<h3 id="2-프로그래밍의-즐거움">2. 프로그래밍의 즐거움</h3>
<p>오전에 일하며 단계적으로 프로그래밍하는 즐거움을 느낀다. 새로운 기능을 위해 깃 브랜치를 생성하고, 실패하는 테스트 코드를 작성하며 기능이 구현되지 않은 문제를 확인한다. 그리고 커밋 메시지에 작업을 선언하고 세부적인 작업을 상세 메시지에 작성해 본다. 그리고 코드를 작성하고 테스트가 성공하는 것을 본다. 코드를 만들어 가는 일에 만족감을 느낀다. 오늘 아침에는 컨디션이 좋지 않았던 것 같다. 지난 주 AWS 서밋을 다녀온 뒤 왠지 모를 실패감 같은 걸 느낀 것 같다. 나는 지금까지 뭘한거지, 지금까지 열심히 살았는데 아직 공부할 게 너무 많네. 10년 넘게 일했는데 아직까지 만족스럽고 안정적인 회사를 만나지 못했네. 이런류의 부정적인 생각들이 찾아 온 것 같다. 아이들을 보내고 일하기 전에 30분 정도 아침잠(낮잠도 아니고 뭐라 해야 할지 모르겠다)을 청했다. 그리고 일어나 해야할 일을 시작했다. 요즘 이런 감정을 이기는 방법은 쉬고 그리고 그냥 하는 것이다. 부정적인 생각에 잠기지 않는 방법 같다. 돌아보면 나 스스로 ‘10년 넘게’ 뭔가 열심히 했으면 이정도는 되어야 한다는 주관적인 기대가 작용한 것 같다. 주기적으로 떨쳐내야 할 생각들이다. 나는 새로운 출발선을 지났고 다시 걸어가고 있다. 걸어가도 충분하다. 올바른 방향인지 확인하고 꾸준히 걸어가자. 때마침 오늘 프로그래밍을 하는 즐거움을 느낄 수 있어서 감사하다. </p>
<h3 id="3-흥미로운-것이-많아서-좋다">3. 흥미로운 것이 많아서 좋다</h3>
<p>어린이날 아이들이 책을 사달라고 해서 서점에 갔다가 쿠버네티스 책을 슥슥 훓어 보았다. ‘아! 이런 걸 하는 거구나!’ 그리고 책장을 훓어 보다 HTML, CSS, Java Script 관련 책도 보인다. 꺼내서 훓어 보고 싶었는데 시간이 없어서 그만한다. 배우고 경험해 보고 싶은 것들이 많다는 점이 앞서 소개한 부정적인 감정과 달리 매우 흥미롭고 기대가 된다. 이런 내 마음이 신기하다. 다만 내게 주어진 시간은 한정적이기 때문에 나도 스트림 처럼, 스파크 처럼 최종 목적을 보고 각 단계 단계에 최적화된 실행 계획을 세울 수 있었으면 좋겠다. </p>
<h3 id="4-훨씬-느리게">4. 훨씬 느리게</h3>
<p>오전에 프로그래밍의 즐거움을 느꼇다면 저녁에는 다시 조급한 마음이 일어 났다. 늘 그렇지만 계획한 것 보다 실제 일은 훨씬 느리게 일어난다. 계획은 거의 항상 틀리고 계획보다 느리게 일이 진행된다. 왜냐하면 역시 나는 예지력이 없어 모든 것을 내다보고 계획하지는 못하기 때문이다. 계획을 세우면 일정을 그것에 곱하기 2, 또는 3을 하라고 한다. 어떤 이는 아예 단위를 바꾸라고 까지 조언한다. 사실 이건 농담이 아니다. 어떨 때는 주를 월로 바꾼 계획이 맞을 때가 있다. 시간을 일 단위로 바꿀 때가 맞을 때가 있다. 계획의 한계를 직시하고 훨씬 느리게 진행되는 이 일들을 하루하루 성실히 해나가야 할 필요가 있겠다. 내 생각과 삶은 좀 다르다.</p></div></div>

Joo's Work

JooSing

1. 꼭 닮은 기술
빅데이터 병렬 처리를 돕는 스파크에 대한 책을 슥슥 읽고 있다. 책을 읽다보니 자바의 병렬 스트림이 생각난다. 둘이 무척 닮아 있다. 자바 병렬 스트림은 하나의 노드(컴퓨터) 안에서 CPU 코어를 병렬로 사용해 데이터를 처리하는 방법을 제공한다면, 스파크는 클러스터 컴퓨팅으로 개념을 확장하여 여러 노드가 병렬로 더 큰 데이터를 처리하는 방법을 제공하고 있다. 또한 자바 스트림은 연산을 중간 연산과 최종 연산으로 나누는데 중간 연산들로 파이프라인을 구성하되 즉시 실행하지 않고 최종 연산이 실행될 때 비로소 실행된다. 이러한 게으른(Lazy) 특성을 통해 파이프라이닝된 중간 연산들을 전체 작업 목적 안에서 최적화된 실행 계획을 세워 실행하게 된다. 예를 들면 어떤 중간 연산들은 하나의 루프 안에서 함께 처리한다거나, 최종적으로 필요한 데이터 범위를 보고 불필요한 이터레이션을 제거하는 기법 등이 적용된다. 스파크에는 중간 연산에 해당하는 트랜스포메이션과 최종 연상에 해당하는 액션이 있으며 트랜스포메이션은 역시 게으른 특성을 가지고 최적화된 실행 계획이 세워진다. 요즘 새로운 기술들을 접하다 보면 큰 개념을 같이 하는 것들을 자주 접하게 되는 것 같다.
2. 프로그래밍의 즐거움
오전에 일하며 단계적으로 프로그래밍하는 즐거움을 느낀다. 새로운 기능을 위해 깃 브랜치를 생성하고, 실패하는 테스트 코드를 작성하며 기능이 구현되지 않은 문제를 확인한다. 그리고 커밋 메시지에 작업을 선언하고 세부적인 작업을 상세 메시지에 작성해 본다. 그리고 코드를 작성하고 테스트가 성공하는 것을 본다. 코드를 만들어 가는 일에 만족감을 느낀다. 오늘 아침에는 컨디션이 좋지 않았던 것 같다. 지난 주 AWS 서밋을 다녀온 뒤 왠지 모를 실패감 같은 걸 느낀 것 같다. 나는 지금까지 뭘한거지, 지금까지 열심히 살았는데 아직 공부할 게 너무 많네. 10년 넘게 일했는데 아직까지 만족스럽고 안정적인 회사를 만나지 못했네. 이런류의 부정적인 생각들이 찾아 온 것 같다. 아이들을 보내고 일하기 전에 30분 정도 아침잠(낮잠도 아니고 뭐라 해야 할지 모르겠다)을 청했다. 그리고 일어나 해야할 일을 시작했다. 요즘 이런 감정을 이기는 방법은 쉬고 그리고 그냥 하는 것이다. 부정적인 생각에 잠기지 않는 방법 같다. 돌아보면 나 스스로 ‘10년 넘게’ 뭔가 열심히 했으면 이정도는 되어야 한다는 주관적인 기대가 작용한 것 같다. 주기적으로 떨쳐내야 할 생각들이다. 나는 새로운 출발선을 지났고 다시 걸어가고 있다. 걸어가도 충분하다. 올바른 방향인지 확인하고 꾸준히 걸어가자. 때마침 오늘 프로그래밍을 하는 즐거움을 느낄 수 있어서 감사하다. 
3. 흥미로운 것이 많아서 좋다
어린이날 아이들이 책을 사달라고 해서 서점에 갔다가 쿠버네티스 책을 슥슥 훓어 보았다. ‘아! 이런 걸 하는 거구나!’ 그리고 책장을 훓어 보다 HTML, CSS, Java Script 관련 책도 보인다. 꺼내서 훓어 보고 싶었는데 시간이 없어서 그만한다. 배우고 경험해 보고 싶은 것들이 많다는 점이 앞서 소개한 부정적인 감정과 달리 매우 흥미롭고 기대가 된다. 이런 내 마음이 신기하다. 다만 내게 주어진 시간은 한정적이기 때문에 나도 스트림 처럼, 스파크 처럼 최종 목적을 보고 각 단계 단계에 최적화된 실행 계획을 세울 수 있었으면 좋겠다. 
4. 훨씬 느리게
오전에 프로그래밍의 즐거움을 느꼇다면 저녁에는 다시 조급한 마음이 일어 났다. 늘 그렇지만 계획한 것 보다 실제 일은 훨씬 느리게 일어난다. 계획은 거의 항상 틀리고 계획보다 느리게 일이 진행된다. 왜냐하면 역시 나는 예지력이 없어 모든 것을 내다보고 계획하지는 못하기 때문이다. 계획을 세우면 일정을 그것에 곱하기 2, 또는 3을 하라고 한다. 어떤 이는 아예 단위를 바꾸라고 까지 조언한다. 사실 이건 농담이 아니다. 어떨 때는 주를 월로 바꾼 계획이 맞을 때가 있다. 시간을 일 단위로 바꿀 때가 맞을 때가 있다. 계획의 한계를 직시하고 훨씬 느리게 진행되는 이 일들을 하루하루 성실히 해나가야 할 필요가 있겠다. 내 생각과 삶은 좀 다르다.

개발일기 #116 : 훨씬 느리게

댓글