<div id="readability-page-1" class="page"><div><p>edX에서 <a target="_blank" rel="noopener" href="https://courses.edx.org/courses/BerkeleyX/CS100.1x/1T2015">Spark로 빅데이터 입문(Introduction to Big Data with Apache Spark)</a>을
듣고 있다. UC Berkeley의 Anthony Joseph 교수가 진행하는 수업으로, 실제 데이터를 가지고 과제
4개를 진행하면서 Spark로 빅데이터 분석하는 방법을 배운다고 하는데, 수업 난이도 자체는 높지 않다.
대상은 Python 경험자로 분산 컴퓨팅/Spark에 대한 지식은 없어도 된다고 되어있다. 환경 설정도
Jupyter(IPython Notebook의 새 이름)와 PySpark가 이미 세팅된 환경을 Vagrant로 제공해주는데,
Vagrant의 이름만 알고 있는 정도였지만 동영상에서 OS별로 제공하는 동영상을 보고 따라하는데 무리는 없었다.</p>
<p>실습은 노트북 파일에서 비어있는 부분을 채우면서 진행하면 되는데, 의도에 대한 설명은 코드 위에 충분히
자세하게 되어있고 단계별 진행이다보니 정확히 읽지 않아도 코드를 보면서 따라가면 유추가 가능하다.
단순히 유행어(Buzzword) 이상으로 Big Data나 Spark에 대해 배워보고 싶은 사람들에게 추천할 겸,
몇달 뒤에 잊어먹을 나 자신을 위해서 기록을 남겨본다.</p>
<h2>1주차</h2>
<p>환경설정: Jupyer + PySpark가 세팅된 vagrant 올리기</p>
<p>수업 목표</p>
<ul>
<li>Data Science를 배워보자</li>
<li>실제 데이터를 다루는 과정</li>
<li>Spark(w/ mllib)를 써보자</li>
</ul>
<h3>Lecture 1. Big Data와 Data Science 소개</h3>
<ul>
<li>데이터 분석의 역사</li>
<li>원인 ≠ 상관관계</li>
<li>충분한 데이터가 필요</li>
<li>현재를 분석하는건 쉽고 미래를 예측하는건 어렵다</li>
<li>사건에 대한 중요한 요인을 모두 알고 있어야한다</li>
<li>(MySpcae 사례를 통한 페이스북 유행시기 추정 -&gt; 실패)</li>
</ul>
<p>빅데이터는 어디에서?</p>
<ul>
<li>사용자들이 올리는 컨텐츠들(웹/모바일) - 페이스북, 인스타그램, 옐프</li>
<li>생체정보/과학쪽 연산</li>
</ul>
<p>그래프 데이터</p>
<ul>
<li>많은 데이터들이 그래프 구조</li>
<li>SNS, 네트워크 등</li>
</ul>
<p>사람이 보기에 너무 많은 정보</p>
<ul>
<li>아파치 서버 로그</li>
<li>IoT의 센서 측정기록</li>
</ul>
<p>빅데이터를 어떻게 다룰까</p>
<ul>
<li>Crowdsourcing</li>
<li>Physical modeling</li>
<li>Sensing</li>
<li>Data Assimilation</li>
</ul>
<p>많은 사람들에게서 정보를 얻어 분석한 다음에 중요한 정보를 시각화</p>
<h3>Lecture 2. Data Science는 어떻게? 데이터 준비하기</h3>
<ul>
<li>코딩 + 도메인 지식만으로는 잘못된 분석의 가능성</li>
<li>Data Science = 코딩 + 도메인 + 통계지식</li>
</ul>
<p><a target="_blank" rel="noopener" href="http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram">The Data Science Venn Diagram</a></p>
<p>Database와 Data Science의 차이</p>
<ul>
<li>데이터가 중요하다 / 싸다</li>
<li>원자성이 중요 / 결과적으로 유지만되면 오케이</li>
<li>과거를 조회 / 미래를 예측</li>
<li>정해진 복잡도 / 하다보면 됨</li>
</ul>
<p>방법</p>
<ul>
<li>Jim Gray 모델 vs Ben Fry 모델 vs Jeff Hammerbacher 모델</li>
</ul>
<p>어려움</p>
<ul>
<li>실제 데이터는 너무 더러움</li>
<li>이전에 발견한 패턴/가설이 선입견</li>
</ul>
<p>준비: ETL</p>
<ul>
<li>extract: 데이터 추출</li>
<li>transform: 가공</li>
<li>load: 모아놓는다</li>
</ul>
<h2>2주차</h2>
<h3>Lecture 3. 빅 데이터, Spark</h3>
<p>왜 필요한가?</p>
<ul>
<li>페이스북의 하루 로그는 60TB</li>
<li>이제 머신 하나에서 다룰 수 없다</li>
</ul>
<p>거대한 문서에서 단어를 세는 예제</p>
<ul>
<li>머신 n-to-1
<ul>
<li>문단 별 단어 카운트는 n개에서 나눠서 해도 된다</li>
<li>합치는 작업을 1개에서 한다면 병목</li>
</ul>
</li>
<li>머신 n-to-n
<ul>
<li>합치는 작업도 단어별로 n개에서 나눠서</li>
<li>이게 Map/Reduce 개념</li>
</ul>
</li>
<li>문제
<ul>
<li>머신끼리 데이터 보내는건 느리다</li>
<li>하나가 실패하면? -&gt; 그 머신만 다시 시작</li>
<li>하나가 느리면? -&gt; 하나 더 돌리고 먼저 끝난걸 선택</li>
</ul>
</li>
<li>문제 2
<ul>
<li>작업을 반복해서할 때 디스크에 저장하면 I/O가 병목</li>
<li>메모리에 올려서 작업하면? -&gt; Spark</li>
</ul>
</li>
</ul>
<p>Spark</p>
<ul>
<li>위에서 말한 실패하거나 느린 노드를 자동으로 처리</li>
<li>Core와 컴포넌트 4개 Spark SQL, Spark Streaming, MLlib, GraphX로 구성</li>
<li>disk에 넣기 위해 serialization/deserialization 할 필요가 없으므로 100배 이상 빠르다</li>
</ul>
<p>특징</p>
<ul>
<li>다양한 경우에 쓸 수 있는 엔진</li>
<li>리니지(immutable을 이용한 이력관리)의 lazy eval</li>
</ul>
<h3>Lecture 4. Spark 기초</h3>
<ul>
<li>어플리케이션(driver)에서 SparkContext로 시작</li>
<li>worker는 클러스터 혹은 로컬 스레드</li>
<li>분산된 worker의 추상화가 RDD</li>
</ul>
<p>맨 처음 실행하면</p>
<ul>
<li>SparkContext 객체의 인스턴스 <code>sc</code> 생성</li>
<li><code>sc</code>로 로컬의 worker 접근, 혹은 hdfs, mesos 접근</li>
</ul>
<p>RDD는</p>
<ul>
<li>만들어지면 불변</li>
<li>transform되는 과정(lineage)을 추적해서 재사용 가능</li>
<li>파티션을 설정하면 그만큼 병렬처리</li>
</ul>
<p>연산은</p>
<ul>
<li>transformation, action 두 종류</li>
<li>transform: lazy eval, action까지 미뤄둠</li>
<li>persis(cache)는 메모리/디스크 저장</li>
</ul>
<figure><table><tbody><tr><td><pre><span>1</span><br><span>2</span><br></pre></td><td><pre><span>data = [<span>1</span>, <span>2</span>, <span>3</span>, <span>4</span>, <span>5</span>]</span><br><span>rDD = sc.parallelize(data, <span>4</span>)</span><br></pre></td></tr></tbody></table></figure>
<p>혹은</p>
<figure><table><tbody><tr><td><pre><span>1</span><br></pre></td><td><pre><span>file = sc.textFile(<span>"README.md"</span>, <span>4</span>)</span><br></pre></td></tr></tbody></table></figure>
<p>transformation</p>
<ul>
<li>map, filter, distinct, flatMap,</li>
</ul>
<p>action</p>
<ul>
<li>바로 계산</li>
<li>reduce, take, collect, takeOrdered</li>
</ul>
<figure><table><tbody><tr><td><pre><span>1</span><br><span>2</span><br><span>3</span><br></pre></td><td><pre><span>lines = sc.textFile(<span>"..."</span>, <span>4</span>)</span><br><span>comments = lines.<span>filter</span>(isComment)</span><br><span><span>print</span> lines.count(), comments.count()</span><br></pre></td></tr></tbody></table></figure>
<p>lines 연산을 한번, lines+comments 연산을 한번해서 중복. 그럴 때는 중간에 <code>lines.cache()</code></p>
<p>key-value transformation</p>
<ul>
<li>reduceByKy, sortByKe, groupByKey</li>
<li>groupByKey는 데이터가 이동하므로 네트워크/대량에서는 주의</li>
</ul>
<figure><table><tbody><tr><td><pre><span>1</span><br><span>2</span><br></pre></td><td><pre><span>rdd // [(<span>1</span>,<span>2</span>), (<span>3</span>,<span>4</span>), (<span>3</span>,<span>6</span>)]</span><br><span>rdd.reduceByKey(<span>lambda</span> a, b: a + b) // [(<span>1</span>,<span>2</span>), (<span>3</span>,<span>10</span>)]</span><br></pre></td></tr></tbody></table></figure>
<p>closure</p>
<ul>
<li>broadcase: driver가 쓰면 worker들이 읽기 가능</li>
<li>accumulator: worker들이 쓰기만 가능 driver만 접근가능</li>
</ul>
<h2>Lab 1. Spark 과제</h2>
<p>구텐베르크 프로젝트에서 셰익스피어 전집의 데이터로 단어 세기</p>
<ul>
<li>특수문자 제거</li>
<li>띄어쓰기로 단어 구분</li>
<li>중복 제거를 위해 소문자로 변환</li>
<li>최빈 15개 단어</li>
</ul>
<hr>
<p>참고로 강의노트(PDF)가 공개되어있다.</p>
<ul>
<li><a target="_blank" rel="noopener" href="https://courses.edx.org/c4x/BerkeleyX/CS100.1x/asset/Week1Lec1.pdf">Lecture 1 slides</a></li>
<li><a target="_blank" rel="noopener" href="https://courses.edx.org/c4x/BerkeleyX/CS100.1x/asset/Week1Lec2.pdf">Lecture 2 slides</a></li>
<li><a target="_blank" rel="noopener" href="https://courses.edx.org/c4x/BerkeleyX/CS100.1x/asset/Week2Lec3.pdf">Lecture 3 slides</a></li>
<li><a target="_blank" rel="noopener" href="https://courses.edx.org/c4x/BerkeleyX/CS100.1x/asset/Week2Lec4.pdf">Lecture 4 slides</a></li>
</ul>
</div></div>

devthewild

Seoh Char

edX에서 Spark로 빅데이터 입문(Introduction to Big Data with Apache Spark)을듣고 있다. UC Berkeley의 Anthony Joseph 교수가 진행하는 수업으로, 실제 데이터를 가지고 과제4개를 진행하면서 Spark로 빅데이터 분석하는 방법을 배운다고 하는데, 수업 난이도 자체는 높지 않다.대상은 Python 경험자로 분산 컴퓨팅/Spark에 대한 지식은 없어도 된다고 되어있다. 환경 설정도Jupyter(IPython Notebook의 새 이름)와 PySpark가 이미 세팅된 환경을 Vagrant로 제공해주는데,Vagrant의 이름만 알고 있는 정도였지만 동영상에서 OS별로 제공하는 동영상을 보고 따라하는데 무리는 없었다.
실습은 노트북 파일에서 비어있는 부분을 채우면서 진행하면 되는데, 의도에 대한 설명은 코드 위에 충분히자세하게 되어있고 단계별 진행이다보니 정확히 읽지 않아도 코드를 보면서 따라가면 유추가 가능하다.단순히 유행어(Buzzword) 이상으로 Big Data나 Spark에 대해 배워보고 싶은 사람들에게 추천할 겸,몇달 뒤에 잊어먹을 나 자신을 위해서 기록을 남겨본다.
1주차
환경설정: Jupyer + PySpark가 세팅된 vagrant 올리기
수업 목표
Data Science를 배워보자
실제 데이터를 다루는 과정
Spark(w/ mllib)를 써보자
Lecture 1. Big Data와 Data Science 소개
데이터 분석의 역사
원인 ≠ 상관관계
충분한 데이터가 필요
현재를 분석하는건 쉽고 미래를 예측하는건 어렵다
사건에 대한 중요한 요인을 모두 알고 있어야한다
(MySpcae 사례를 통한 페이스북 유행시기 추정 -> 실패)
빅데이터는 어디에서?
사용자들이 올리는 컨텐츠들(웹/모바일) - 페이스북, 인스타그램, 옐프
생체정보/과학쪽 연산
그래프 데이터
많은 데이터들이 그래프 구조
SNS, 네트워크 등
사람이 보기에 너무 많은 정보
아파치 서버 로그
IoT의 센서 측정기록
빅데이터를 어떻게 다룰까
Crowdsourcing
Physical modeling
Sensing
Data Assimilation
많은 사람들에게서 정보를 얻어 분석한 다음에 중요한 정보를 시각화
Lecture 2. Data Science는 어떻게? 데이터 준비하기
코딩 + 도메인 지식만으로는 잘못된 분석의 가능성
Data Science = 코딩 + 도메인 + 통계지식
The Data Science Venn Diagram
Database와 Data Science의 차이
데이터가 중요하다 / 싸다
원자성이 중요 / 결과적으로 유지만되면 오케이
과거를 조회 / 미래를 예측
정해진 복잡도 / 하다보면 됨
방법
Jim Gray 모델 vs Ben Fry 모델 vs Jeff Hammerbacher 모델
어려움
실제 데이터는 너무 더러움
이전에 발견한 패턴/가설이 선입견
준비: ETL
extract: 데이터 추출
transform: 가공
load: 모아놓는다
2주차
Lecture 3. 빅 데이터, Spark
왜 필요한가?
페이스북의 하루 로그는 60TB
이제 머신 하나에서 다룰 수 없다
거대한 문서에서 단어를 세는 예제
머신 n-to-1
문단 별 단어 카운트는 n개에서 나눠서 해도 된다
합치는 작업을 1개에서 한다면 병목
머신 n-to-n
합치는 작업도 단어별로 n개에서 나눠서
이게 Map/Reduce 개념
문제
머신끼리 데이터 보내는건 느리다
하나가 실패하면? -> 그 머신만 다시 시작
하나가 느리면? -> 하나 더 돌리고 먼저 끝난걸 선택
문제 2
작업을 반복해서할 때 디스크에 저장하면 I/O가 병목
메모리에 올려서 작업하면? -> Spark
Spark
위에서 말한 실패하거나 느린 노드를 자동으로 처리
Core와 컴포넌트 4개 Spark SQL, Spark Streaming, MLlib, GraphX로 구성
disk에 넣기 위해 serialization/deserialization 할 필요가 없으므로 100배 이상 빠르다
특징
다양한 경우에 쓸 수 있는 엔진
리니지(immutable을 이용한 이력관리)의 lazy eval
Lecture 4. Spark 기초
어플리케이션(driver)에서 SparkContext로 시작
worker는 클러스터 혹은 로컬 스레드
분산된 worker의 추상화가 RDD
맨 처음 실행하면
SparkContext 객체의 인스턴스 sc 생성
sc로 로컬의 worker 접근, 혹은 hdfs, mesos 접근
RDD는
만들어지면 불변
transform되는 과정(lineage)을 추적해서 재사용 가능
파티션을 설정하면 그만큼 병렬처리
연산은
transformation, action 두 종류
transform: lazy eval, action까지 미뤄둠
persis(cache)는 메모리/디스크 저장
혹은
transformation
map, filter, distinct, flatMap,
action
바로 계산
reduce, take, collect, takeOrdered
lines 연산을 한번, lines+comments 연산을 한번해서 중복. 그럴 때는 중간에 lines.cache()
key-value transformation
reduceByKy, sortByKe, groupByKey
groupByKey는 데이터가 이동하므로 네트워크/대량에서는 주의
closure
broadcase: driver가 쓰면 worker들이 읽기 가능
accumulator: worker들이 쓰기만 가능 driver만 접근가능
Lab 1. Spark 과제
구텐베르크 프로젝트에서 셰익스피어 전집의 데이터로 단어 세기
특수문자 제거
띄어쓰기로 단어 구분
중복 제거를 위해 소문자로 변환
최빈 15개 단어
참고로 강의노트(PDF)가 공개되어있다.
Lecture 1 slides
Lecture 2 slides
Lecture 3 slides
Lecture 4 slides

Spark로 빅데이터 입문, 1-2주차 노트

댓글