<div id="readability-page-1" class="page"><div id="post-body-6996994550640788536" itemprop="articleBody">
강의 이해를 위해 요구되는 사전 지식들.<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhsw93YWXT9F8smWJ6OHl9uOG0t7P2n6WMaDk1b6jO-zEjYm6H_qBeZ724yze7zFjkuDH-JtwcrEPGQ71hyphenhyphen-5tOioNtbxKNGAyjMb1vaYDge-DgyfKAmskwwhsh5V2A6NsNMZ_H3pcgn3fbr6QWV__5lPVm6D1nLkZDzsj_IGnQuyU-TzvVA8ZALHXQrQi2/s1348/pre.png"><img data-original-height="542" data-original-width="1348" height="112" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhsw93YWXT9F8smWJ6OHl9uOG0t7P2n6WMaDk1b6jO-zEjYm6H_qBeZ724yze7zFjkuDH-JtwcrEPGQ71hyphenhyphen-5tOioNtbxKNGAyjMb1vaYDge-DgyfKAmskwwhsh5V2A6NsNMZ_H3pcgn3fbr6QWV__5lPVm6D1nLkZDzsj_IGnQuyU-TzvVA8ZALHXQrQi2/w400-h161/pre.png" width="280"></a>필수 요건으로로 못박고 싶지만 그랬다간 망할까봐 권장으로 타협. 출강 기관 측은 아예 빼자고 하는데 그러고 싶진 않다. 내 강의 정체성이기 때문.세상 모든 데이터는 문자열SQL이든 (엘라스틱/스플렁크 등의) NoSQL이든, 세상 모든 DB는 문자열 데이터를 깎고 다듬어 테이블 구조로 바꾸는 전처리 작업을 필수로 거친다. 그래야 데이터 분석을 시작할 수 있으니까.<blockquote><blockquote><a href="https://kangmyounghun.blogspot.com/2016/06/blog-post_12.html" target="_blank">데이터는 테이블이다</a></blockquote></blockquote>데이터를 분석하려면 데이터를 잘 알아야 한다. (의미 파악은 기본이고) 전체적인 구조는 어떤지, 내 목적에 맞는 범위는 어딘지, 그 범위의 데이터를 어떻게 가공해야 원하는 분석이 가능한지에 대한 감을 잡을 수 있어야 한다. 이런 감각을 일깨워주는 가장 확실한 방법은 결국 데이터를 직접 만져보는 것.&nbsp;이런 경험을 가장 쉽게 할 수 있는 환경이 바로 리눅스. 목적에 맞는 셋팅을 시도하는 과정에서 기본 편집기인 VIM을 사용할 수밖에 없으니까.&nbsp;문자열 데이터를 다루는 감을 익히는 데 문자열 편집기보다 더 좋은 툴이 있을까?&nbsp;꼭 VIM 때문에만 리눅스 경험을 주문하는 것도 아니다. 사실 리눅스는 운영체제 자체가 문자열 데이터 처리를 위한 종합선물세트라고 해도 과언이 아니기 때문.
웹로그 메소드 발생 내역


메소드 고유개수1


메소드 고유개수2
<div><table><tbody><tr><td><div>root@MHKANG:~#&nbsp;awk&nbsp;'{print&nbsp;$6}'&nbsp;2014.log&nbsp;| &gt;&nbsp;awk&nbsp;-F&nbsp;'"'&nbsp;'{print&nbsp;$2}'&nbsp;|&gt;&nbsp;awk&nbsp;'arr[$1]==""&nbsp;{arr[$1]="x"}&nbsp;END&nbsp;{print&nbsp;length(arr)}'6</div></td><td><a href="http://colorscripter.com/info#e" target="_blank">cs</a></td></tr></tbody></table></div>

변수 고유개수
<div><table><tbody><tr><td><div>root@MHKANG:~#&nbsp;awk&nbsp;'{if&nbsp;($7&nbsp;~&nbsp;/\?/)&nbsp;print&nbsp;$7}'&nbsp;2014.log&nbsp;| &gt;&nbsp;awk&nbsp;-F&nbsp;'?'&nbsp;'{print&nbsp;$2}'&nbsp;|&gt;&nbsp;sort&nbsp;-u&nbsp;|&gt;&nbsp;wc&nbsp;-l63349</div></td><td><a href="http://colorscripter.com/info#e" target="_blank">cs</a></td></tr></tbody></table></div>

변수 고유개수 차원 축소1
<div><table><tbody><tr><td><div>root@MHKANG:~#&nbsp;awk&nbsp;'{if&nbsp;($7&nbsp;~&nbsp;/\?/)&nbsp;print&nbsp;$7}'&nbsp;2014.log&nbsp;| &nbsp;&gt;&nbsp;awk&nbsp;-F&nbsp;'?'&nbsp;'{print&nbsp;$2}'&nbsp;|&nbsp;&gt;&nbsp;sed&nbsp;'s/[0-9]//g'&nbsp;|&nbsp;&gt;&nbsp;sort&nbsp;-u&nbsp;|&nbsp;&gt;&nbsp;wc&nbsp;-l330</div></td><td><a href="http://colorscripter.com/info#e" target="_blank">cs</a></td></tr></tbody></table></div>
변수 고유개수 차원 축소2
<div><table><tbody><tr><td><div>root@MHKANG:~#&nbsp;awk&nbsp;'{if&nbsp;($7&nbsp;~&nbsp;/\?/)&nbsp;print&nbsp;$7}'&nbsp;2014.log&nbsp;|&nbsp; &gt;&nbsp;awk&nbsp;-F&nbsp;'?'&nbsp;'{print&nbsp;$2}'&nbsp;|&nbsp;&gt;&nbsp;awk&nbsp;'{gsub("[0-9]",&nbsp;"")}1'&nbsp;|&nbsp;&gt;&nbsp;sort&nbsp;-u&nbsp;|&nbsp;&gt;&nbsp;wc&nbsp;-l330</div></td><td><a href="http://colorscripter.com/info#e" target="_blank">cs</a></td></tr></tbody></table></div>

이런 경험이 쌓이고 모여 데이터를 다루는 감각을 키워준다. 그런데 이 모든 작업이 VIM이라는 하나의 툴에서 다 가능하다. 정규표현식 지원 범위도 훨씬 넓다.<div><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg3VOMoSs-U2o0bkxu43iFAEJ_rJfOtii3m0NO4rdZ9vpoU7o0yUhXT2EWDZD9JCu2TBmfm-pBRd3sGp-GrEzmsSC0zgNDR7KoSmf63GvzfKc2EtkNCke48a3GzINWsyRyZeHhSfHdLNbZaaBkS7u13j1qUjneeclgNmzGZ61XFjz_s0yTCA7kaEPe6BlHl/s627/4a37d798-cb48-423c-a096-812ff4b848f6.png"><img data-original-height="627" data-original-width="480" height="320" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg3VOMoSs-U2o0bkxu43iFAEJ_rJfOtii3m0NO4rdZ9vpoU7o0yUhXT2EWDZD9JCu2TBmfm-pBRd3sGp-GrEzmsSC0zgNDR7KoSmf63GvzfKc2EtkNCke48a3GzINWsyRyZeHhSfHdLNbZaaBkS7u13j1qUjneeclgNmzGZ61XFjz_s0yTCA7kaEPe6BlHl/s320/4a37d798-cb48-423c-a096-812ff4b848f6.png" width="245"></a> </div>관련 글<div><ul><li><a href="https://kangmyounghun.blogspot.com/2025/07/vim-vs-awk.html">VIM vs AWK</a></li><li><a href="http://kangmyounghun.blogspot.kr/2016/07/vim.html" target="">VIM 사용 설명서</a></li></ul></div>

</div></div>

케세라세라

강의 이해를 위해 요구되는 사전 지식들.
필수 요건으로로 못박고 싶지만 그랬다간 망할까봐 권장으로 타협. 출강 기관 측은 아예 빼자고 하는데 그러고 싶진 않다. 내 강의 정체성이기 때문.
세상 모든 데이터는 문자열
SQL이든 (엘라스틱/스플렁크 등의) NoSQL이든, 세상 모든 DB는 문자열 데이터를 깎고 다듬어 테이블 구조로 바꾸는 전처리 작업을 필수로 거친다. 그래야 데이터 분석을 시작할 수 있으니까.
데이터는 테이블이다
데이터를 분석하려면 데이터를 잘 알아야 한다. (의미 파악은 기본이고) 전체적인 구조는 어떤지, 내 목적에 맞는 범위는 어딘지, 그 범위의 데이터를 어떻게 가공해야 원하는 분석이 가능한지에 대한 감을 잡을 수 있어야 한다. 이런 감각을 일깨워주는 가장 확실한 방법은 결국 데이터를 직접 만져보는 것. 
프로젝트에서 데이터의 공간 변환, 공간 탐색 등의 전문적 단계에 진입하기 전에 학생들에게 데이터를 가지고 온갖 자질구레한 관찰을 해보도록 강제한다. 데이터의 질감을 느끼는 단계다. 이 과정에서 통찰과 관점이 생긴다
이런 경험을 가장 쉽게 할 수 있는 환경이 바로 리눅스. 목적에 맞는 셋팅을 시도하는 과정에서 기본 편집기인 VIM을 사용할 수밖에 없으니까. 
문자열 데이터를 다루는 감을 익히는 데 문자열 편집기보다 더 좋은 툴이 있을까? 
꼭 VIM 때문에만 리눅스 경험을 주문하는 것도 아니다. 사실 리눅스는 운영체제 자체가 문자열 데이터 처리를 위한 종합선물세트라고 해도 과언이 아니기 때문.
웹로그 메소드 발생 내역
root@MHKANG:~# awk '{print $6}' 2014.log |                             
> awk -F '"' '{print $2}' |
> sort -u
-
CONNECT
GET
HEAD
POST
quit
Colored by Color Scripter
cs
메소드 고유개수1
root@MHKANG:~# awk '{print $6}' 2014.log |                             
> awk -F '"' '{print $2}' |
> sort -u |
> wc -l
6
Colored by Color Scripter
cs
메소드 고유개수2
root@MHKANG:~# awk '{print $6}' 2014.log |                             
> awk -F '"' '{print $2}' |
> awk 'arr[$1]=="" {arr[$1]="x"} END {print length(arr)}'
6
Colored by Color Scripter
cs
변수 고유개수
root@MHKANG:~# awk '{if ($7 ~ /\?/) print $7}' 2014.log |              
> awk -F '?' '{print $2}' |
> sort -u |
> wc -l
63349
Colored by Color Scripter
cs
변수 고유개수 차원 축소1
root@MHKANG:~# awk '{if ($7 ~ /\?/) print $7}' 2014.log |              
> awk -F '?' '{print $2}' | 
> sed 's/[0-9]//g' | 
> sort -u | 
> wc -l
330
Colored by Color Scripter
cs
변수 고유개수 차원 축소2
root@MHKANG:~# awk '{if ($7 ~ /\?/) print $7}' 2014.log |              
> awk -F '?' '{print $2}' | 
> awk '{gsub("[0-9]", "")}1' | 
> sort -u | 
> wc -l
330
Colored by Color Scripter
cs
이런 경험이 쌓이고 모여 데이터를 다루는 감각을 키워준다. 그런데 이 모든 작업이 VIM이라는 하나의 툴에서 다 가능하다. 정규표현식 지원 범위도 훨씬 넓다.
관련 글
VIM vs AWK
VIM 사용 설명서

VIM vs AWK - 2nd

댓글