<div id="readability-page-1" class="page"><div><h2>4주차. 데이터 품질, 탐헌적 데이터 분석과 머신 러닝</h2>
<h3>Lecture 7. 데이터 품질</h3>
<p>데이터 클리닝</p>
<ul>
<li>왜곡: 처리과정에서 변질된 표본들</li>
<li>선택편견: 값에 따른 표본의 가능도(likelihood)</li>
<li>좌우검열: 데이터가 무한대일 때 시작과 끝을 어떻게 자를지</li>
<li>의존성: 표본이 독립적인지 아닌지에 대한 판단</li>
</ul>
<ul>
<li>정확성과 (과정의)간소에 대한 트레이드오프</li>
<li>단위 통일, 중복 제거 등</li>
</ul>
<p>문제</p>
<ul>
<li>텍스트 파싱</li>
<li>같은 엔티티 다른 표현(2 vs two, NYC vs NewYork)</li>
<li>비구조적-구조적 전환시 primary key</li>
<li>너무 길어서 잘리는 필드</li>
<li>형식 문제(특히 날짜)</li>
</ul>
<p>수집</p>
<ul>
<li>과정에서 무결성 체크</li>
<li>구조에 없는건 기본값</li>
</ul>
<p>전송</p>
<ul>
<li>신뢰할만한 프로토콜인가</li>
<li>받은 데이터의 확인이 가능한가(checksum)</li>
</ul>
<p>분석의 어려움</p>
<ul>
<li>크기, 성능</li>
<li>모델에 적용</li>
<li>전문지식 부족</li>
<li>다트판(때려맞추기)</li>
<li>대충 경험(특정 상황에만 맞는 분석)</li>
</ul>
<p>품질 측정</p>
<ul>
<li>스키마 일치</li>
<li>정확성, 접근성, 해석가능</li>
<li>Lab2에서 정규식을 통한 형식 일치 확인</li>
</ul>
<p>용어?</p>
<ul>
<li>개체 식별(entity resolution)</li>
<li>중복 검출(DeDup: Detection Duplicated)</li>
</ul>
<p>표준화</p>
<ul>
<li>USPS에서 제공하는 <a target="_blank" rel="noopener" href="http://pe.usps.com/text/pub28/welcome.htm">주소 표준가이드</a></li>
<li>다른 필드 참고 등 식별 힌트</li>
</ul>
<h3>Lecture 8. 탐험적 데이터 분석과 머신 러닝</h3>
<p>기술통계 vs 추론통계(<a target="_blank" rel="noopener" href="https://ko.wikipedia.org/wiki/%ED%86%B5%EA%B3%84%ED%95%99#.EC.B6.94.EB.A1.A0_.ED.86.B5.EA.B3.84">위키피디아</a>)</p>
<p>업무에서의 목적</p>
<ul>
<li>간단한 통계</li>
<li>가설 검증</li>
<li>분류</li>
<li>예측</li>
</ul>
<p><a target="_blank" rel="noopener" href="http://www.amazon.com/dp/0201076160">탐험적 데이터분석</a></p>
<ul>
<li>기본 테크닉 소개
<ul>
<li><a target="_blank" rel="noopener" href="https://en.wikipedia.org/wiki/Five-number_summary">Five-number summary</a></li>
<li>box plot, stem and leaf diagram</li>
</ul>
</li>
<li>통계요약의 문제: 같은 요약이라도 다른 데이터일 수 있다</li>
</ul>
<p>정규 분포</p>
<ul>
<li>평균, 표준편차</li>
<li>중심극한정리(Central Limit Theorem): n이 무한대로 가면 정규분포에 가까워진다.</li>
</ul>
<p>다른 중요한 분포</p>
<ul>
<li><a target="_blank" rel="noopener" href="https://ko.wikipedia.org/wiki/%ED%91%B8%EC%95%84%EC%86%A1_%EB%B6%84%ED%8F%AC">프아송 분포</a></li>
<li>이항 분포, 다항 분포</li>
</ul>
<p>Spark의 mllib</p>
<ul>
<li>NumPy와 함께 사용가능(pySpark &gt;= 0.9)</li>
<li>여기에서는 영화평점 예측
<ul>
<li>collaborative filtering</li>
<li>k rank = user(a) x movie feature(b)</li>
</ul>
</li>
</ul>
<h3>Lab 3. 텍스트 분석과 개체 식별</h3>
<ol>
<li>텍스트 유사성으로 개체 식별 - Bags of Words</li>
</ol>
<ul>
<li><a target="_blank" rel="noopener" href="http://darkpgmr.tistory.com/125">Bag of Words 기법</a></li>
</ul>
<ol start="2">
<li>텍스트 유사성으로 개체 식별- TF-IDF를 사용한 가중치 적용된 BOW</li>
</ol>
<ul>
<li><a target="_blank" rel="noopener" href="https://ko.wikipedia.org/wiki/TF-IDF">TF-IDF</a></li>
</ul>
<ol start="3">
<li>텍스트 유사성으로 개체 식별- 코사인 유사도(Cosine Similarity)</li>
<li>역참조(inverted index)를 통한 효율적인 개체 식별</li>
<li>그래프(plot)을 통한 결과 분석</li>
</ol>
<h3>Lab 3. 퀴즈</h3>
<p>Lab 3에서 배운 것들 재확인</p>
<hr>
<p><a target="_blank" rel="noopener" href="https://github.com/Kapeli/Dash-User-Contributions/tree/master/docsets/pyspark">pySpark Docset</a></p>
<ul>
<li><a target="_blank" rel="noopener" href="https://kapeli.com/dash">Dash</a>용 pySpark API문서</li>
<li>설정의 다운로드 -&gt; 좌하단의 사용자 제공(User Contibuted) -&gt; pySpark 검색</li>
</ul>
<hr>
<ul>
<li><a target="_blank" rel="noopener" href="https://courses.edx.org/c4x/BerkeleyX/CS100.1x/asset/Week4Lec7.pdf">Lecture 7 slides</a></li>
<li><a target="_blank" rel="noopener" href="https://courses.edx.org/c4x/BerkeleyX/CS100.1x/asset/Week4Lec8.pdf">Lecture 8 slides</a></li>
</ul>
</div></div>

devthewild

Seoh Char

4주차. 데이터 품질, 탐헌적 데이터 분석과 머신 러닝
Lecture 7. 데이터 품질
데이터 클리닝
왜곡: 처리과정에서 변질된 표본들
선택편견: 값에 따른 표본의 가능도(likelihood)
좌우검열: 데이터가 무한대일 때 시작과 끝을 어떻게 자를지
의존성: 표본이 독립적인지 아닌지에 대한 판단
정확성과 (과정의)간소에 대한 트레이드오프
단위 통일, 중복 제거 등
문제
텍스트 파싱
같은 엔티티 다른 표현(2 vs two, NYC vs NewYork)
비구조적-구조적 전환시 primary key
너무 길어서 잘리는 필드
형식 문제(특히 날짜)
수집
과정에서 무결성 체크
구조에 없는건 기본값
전송
신뢰할만한 프로토콜인가
받은 데이터의 확인이 가능한가(checksum)
분석의 어려움
크기, 성능
모델에 적용
전문지식 부족
다트판(때려맞추기)
대충 경험(특정 상황에만 맞는 분석)
품질 측정
스키마 일치
정확성, 접근성, 해석가능
Lab2에서 정규식을 통한 형식 일치 확인
용어?
개체 식별(entity resolution)
중복 검출(DeDup: Detection Duplicated)
표준화
USPS에서 제공하는 주소 표준가이드
다른 필드 참고 등 식별 힌트
Lecture 8. 탐험적 데이터 분석과 머신 러닝
기술통계 vs 추론통계(위키피디아)
업무에서의 목적
간단한 통계
가설 검증
분류
예측
탐험적 데이터분석
기본 테크닉 소개
Five-number summary
box plot, stem and leaf diagram
통계요약의 문제: 같은 요약이라도 다른 데이터일 수 있다
정규 분포
평균, 표준편차
중심극한정리(Central Limit Theorem): n이 무한대로 가면 정규분포에 가까워진다.
다른 중요한 분포
프아송 분포
이항 분포, 다항 분포
Spark의 mllib
NumPy와 함께 사용가능(pySpark >= 0.9)
여기에서는 영화평점 예측
collaborative filtering
k rank = user(a) x movie feature(b)
Lab 3. 텍스트 분석과 개체 식별
텍스트 유사성으로 개체 식별 - Bags of Words
Bag of Words 기법
텍스트 유사성으로 개체 식별- TF-IDF를 사용한 가중치 적용된 BOW
TF-IDF
텍스트 유사성으로 개체 식별- 코사인 유사도(Cosine Similarity)
역참조(inverted index)를 통한 효율적인 개체 식별
그래프(plot)을 통한 결과 분석
Lab 3. 퀴즈
Lab 3에서 배운 것들 재확인
pySpark Docset
Dash용 pySpark API문서
설정의 다운로드 -> 좌하단의 사용자 제공(User Contibuted) -> pySpark 검색
Lecture 7 slides
Lecture 8 slides

Spark로 빅데이터 입문, 4주차 노트

댓글