<div id="readability-page-1" class="page"><div>
					
		이전 포스팅(<a href="http://hochul.net/blog/top-10-strategic-technology-trends-from-gartner_2014-2018/">http://hochul.net/blog/top-10-strategic-technology-trends-from-gartner_2014-2018/</a>)에 이어, R(RStudio)을 이용하여 최근 5년간의 전략기술 트렌드를 다룬 뉴스의 내용을 읽어 들여, 많이 언급된 단어의 빈도 순으로 크기를 조절하여 WordCloud를 만들어 보는 실습을 해보았습니다.

<a href="http://hochul.net/blog/r_wordcloud_from_file/gartner_2014_18_techtrend_word_s/" rel="attachment wp-att-957"><img data-attachment-id="957" data-permalink="http://hochul.net/blog/r_wordcloud_from_file/gartner_2014_18_techtrend_word_s/" data-orig-file="http://hochul.net/blog/wp-content/uploads/2018/03/Gartner_2014_18_TechTrend_Word_s.png" data-orig-size="517,509" data-comments-opened="1" data-image-meta="{&quot;aperture&quot;:&quot;0&quot;,&quot;credit&quot;:&quot;&quot;,&quot;camera&quot;:&quot;&quot;,&quot;caption&quot;:&quot;&quot;,&quot;created_timestamp&quot;:&quot;0&quot;,&quot;copyright&quot;:&quot;&quot;,&quot;focal_length&quot;:&quot;0&quot;,&quot;iso&quot;:&quot;0&quot;,&quot;shutter_speed&quot;:&quot;0&quot;,&quot;title&quot;:&quot;&quot;,&quot;orientation&quot;:&quot;0&quot;}" data-image-title="Gartner_2014_18_TechTrend_Word_s" data-image-description="" data-medium-file="http://hochul.net/blog/wp-content/uploads/2018/03/Gartner_2014_18_TechTrend_Word_s-300x295.png" data-large-file="http://hochul.net/blog/wp-content/uploads/2018/03/Gartner_2014_18_TechTrend_Word_s.png" src="http://hochul.net/blog/wp-content/uploads/2018/03/Gartner_2014_18_TechTrend_Word_s.png" alt="" width="517" height="509" sizes="(max-width: 517px) 100vw, 517px"></a>
<h2>사용한 R Package 목록</h2>
<ul>
<li>KoNLP : 한글 자연어 처리 패키지 (Korean Natural Language Processing)</li>
<li>wordcloud : 주어진 데이터를 WordCloud 형태로 그리는 패키지</li>
<li>rvest : 웹페이지를 크롤링하는 패키징, 간단히 사용만 해봤으며, 디테일한 크롤링은 안해봄</li>
<li>RColorBrewer : R시각화 패키지</li>
</ul>
<h2>사용한 주요 함수</h2>
<ul>
<li>readLines(szFileName)
<ul>
<li>szContents &lt;- readLines(szFileName)</li>
<li>szFileName 경로의 파일을 한 라인단위로 읽어 들이기</li>
</ul>
</li>
<li>gsub(“찾을단어”,”바꿀단어”,szContents)
<ul>
<li>szContents &lt;- gsub(“AI”,”인공지능”,szContents) : “AI” 라는 단어를 “인공지능”으로 치환</li>
<li>szContents &lt;- gsub(“‘”,””,szContents) : “’” 특수문자를 공백으로 치환</li>
<li>등 문장 중 특정 단어를 치환, 필터링 하는 함수</li>
</ul>
</li>
<li>sapply(szContents, extractNoun, USE.NAMES=F)
<ul>
<li>각 라인에서 명사 단어만 가져오기</li>
</ul>
</li>
<li>brewer.all() : 제공 색상타입 모두 보기</li>
<li>wordcloud(….) : WordCloud 그리는 함수
<ul>
<li>scale : 빈도가 가장 큰 단어와 가장 빈도가 작은 단어 폰트 사이 크기, scale=c(5,0.2),</li>
<li>per=0.1 : 90도 회전해서 보여줄 단어 비율</li>
<li>freq=3, max.words=100 &nbsp;: 빈도 3이상, 100미만 단어 표현</li>
<li>order=F : True(랜덤배치) / False(빈도수가 큰단어를 중앙에 배치)</li>
<li>color=T : True(색상랜덤) / False(빈도수순으로 색상표현)</li>
<li>colors=brewer.pal(11, “Paired”) : 11은 사용할 색상개수, 두번째는 색상타입이름, 색상타입은 brewer.all() 참고</li>
<li>family : 폰트</li>
</ul>
</li>
<li>savePlot(szWordCloudImageFile, type=”png”) : WordCloud 결과를 이미지 파일로 저장</li>
</ul>
<h2>R 소스코드</h2>

<pre># 필요 Package 설치
install.packages("rvest") #웹페이지 크롤링을 위한 패키징
library("rvest")

szPostUrl1 &lt;- "http://www.itworld.co.kr/news/106768"
szPostData1 &lt;- read_html(szPostUrl1)
# 전체 페이지 크롤링은 쉬우나, 특정 영역 크롤링은 간단하지 않으므로 우선 Pass, 다음에 실습 예정

# 필요 Package 설치
install.packages("KoNLP") #한글 자연어 처리 패키지 (Korean Natural Language Process)
install.packages("wordcloud") #wordcloud 패키지
install.packages("RColorBrewer")

# Library 로드
library("KoNLP")
library("wordcloud")
library("RColorBrewer")

useSejongDic() #한글 세종사전

szFileName &lt;- "D:\\Documents\\R\\RStudy\\data\\Gartner_2014_18_TechTrend.txt"
szWordSaveFileName &lt;- "D:\\Documents\\R\\RStudy\\data\\Gartner_2014_18_TechTrend_Word.txt"
szWordCloudImageFile &lt;- "D:\\Documents\\R\\RStudy\\data\\Gartner_2014_18_TechTrend_Word.png"

szContents &lt;- readLines(szFileName) # 기사를 담은 파일에서 한 라인씩 읽어들이기
View(szContents) # 파일 내용 확인 (아래 그림1 참고)

# 불필요한 문자 필터링, 치환
szContents &lt;- gsub("'","",szContents)
szContents &lt;- gsub("‘","",szContents)
szContents &lt;- gsub("\"","",szContents)
szContents &lt;- gsub("“","",szContents)
szContents &lt;- gsub("”","",szContents)
szContents &lt;- gsub("기술","",szContents)
szContents &lt;- gsub("가트너는","",szContents)
szContents &lt;- gsub("하게","",szContents)
szContents &lt;- gsub("10","",szContents)
szContents &lt;- gsub("들이","",szContents)
szContents &lt;- gsub("하기","",szContents)
szContents &lt;- gsub("부사장","",szContents)
szContents &lt;- gsub("가지","",szContents)
szContents &lt;- gsub("AI","인공지능",szContents)

szNounsContents &lt;- sapply(szContents, extractNoun, USE.NAMES=F) #각 라인마다 명사단어들만 남기기 
View(szNounsContents)
szNounsContentsList &lt;- unlist(szNounsContents) #단어들만 가져오기
View(szNounsContentsList)

# 2글자 이상의 단어만 필터링
szLastData &lt;- Filter(function(x) { nchar(x)&gt;=2
 },szNounsContentsList)

## 최종 2글자 이상의 단어들의 목록
View(szLastData) ## 목록 확인 (아래 그림2 참고)

write(szLastData, szWordSaveFileName) # 결과 목록을 파일로 저장

szDataTable &lt;- read.table(szWordSaveFileName)
View(szDataTable)

ListWordCount = table(szDataTable) # 테이블형태 변환해서 저장
View(ListWordCount) ## 테이블 형태로 저장 (아래 그림3 참고)


#### Word Cloud 그리기..
windows()

display.brewer.all() # 제공 색상타입 모두 보기 (아래 그림4 참고)
windowsFonts(font=windowsFont("맑은 고딕"))

### Word Cloud 함수 호출
wordcloud(
 names(ListWordCount), 
 freq=ListWordCount, 
 scale=c(5,0.2), #빈도가 가장 큰 단어와 가장 빈도가 작은단어 폰사 사이 크기
 rot.per=0.1, #90도 회전해서 보여줄 단어 비율
 min.freq=3, max.words=100, # 빈도 3이상, 100미만
 random.order=F, # True : 랜덤배치, False : 빈도수가 큰단어를 중앙에 배치
 random.color=T, # True : 색랜덤, False : 빈도순
 colors=brewer.pal(11, "Paired"), #11은 사용할 색상개수, 두번째는 색상타입이름
 family="font")

## 최종 이미지파일로 저장 
savePlot(szWordCloudImageFile, type="png”)

</pre>
<a href="http://hochul.net/blog/r_wordcloud_from_file/rdata1-2/" rel="attachment wp-att-963"><img data-attachment-id="963" data-permalink="http://hochul.net/blog/r_wordcloud_from_file/rdata1-2/" data-orig-file="http://hochul.net/blog/wp-content/uploads/2018/03/rdata1-1.png" data-orig-size="366,392" data-comments-opened="1" data-image-meta="{&quot;aperture&quot;:&quot;0&quot;,&quot;credit&quot;:&quot;&quot;,&quot;camera&quot;:&quot;&quot;,&quot;caption&quot;:&quot;&quot;,&quot;created_timestamp&quot;:&quot;0&quot;,&quot;copyright&quot;:&quot;&quot;,&quot;focal_length&quot;:&quot;0&quot;,&quot;iso&quot;:&quot;0&quot;,&quot;shutter_speed&quot;:&quot;0&quot;,&quot;title&quot;:&quot;&quot;,&quot;orientation&quot;:&quot;0&quot;}" data-image-title="rdata1" data-image-description="" data-medium-file="http://hochul.net/blog/wp-content/uploads/2018/03/rdata1-1-280x300.png" data-large-file="http://hochul.net/blog/wp-content/uploads/2018/03/rdata1-1.png" src="http://hochul.net/blog/wp-content/uploads/2018/03/rdata1-1.png" alt="" width="366" height="392" sizes="(max-width: 366px) 100vw, 366px"></a>
그림 1) : 문서 파일로부터 한 라인씩 읽어 들인 목록
<a href="http://hochul.net/blog/r_wordcloud_from_file/rdata2/" rel="attachment wp-att-964"><img data-attachment-id="964" data-permalink="http://hochul.net/blog/r_wordcloud_from_file/rdata2/" data-orig-file="http://hochul.net/blog/wp-content/uploads/2018/03/rdata2.png" data-orig-size="174,272" data-comments-opened="1" data-image-meta="{&quot;aperture&quot;:&quot;0&quot;,&quot;credit&quot;:&quot;&quot;,&quot;camera&quot;:&quot;&quot;,&quot;caption&quot;:&quot;&quot;,&quot;created_timestamp&quot;:&quot;0&quot;,&quot;copyright&quot;:&quot;&quot;,&quot;focal_length&quot;:&quot;0&quot;,&quot;iso&quot;:&quot;0&quot;,&quot;shutter_speed&quot;:&quot;0&quot;,&quot;title&quot;:&quot;&quot;,&quot;orientation&quot;:&quot;0&quot;}" data-image-title="rdata2" data-image-description="" data-medium-file="http://hochul.net/blog/wp-content/uploads/2018/03/rdata2.png" data-large-file="http://hochul.net/blog/wp-content/uploads/2018/03/rdata2.png" src="http://hochul.net/blog/wp-content/uploads/2018/03/rdata2.png" alt="" width="174" height="272"></a>

그림 2) : 문서에서 2글자 이상의 단어들로만 재구성한 목록
<a href="http://hochul.net/blog/r_wordcloud_from_file/rdata3/" rel="attachment wp-att-965"><img data-attachment-id="965" data-permalink="http://hochul.net/blog/r_wordcloud_from_file/rdata3/" data-orig-file="http://hochul.net/blog/wp-content/uploads/2018/03/rdata3.png" data-orig-size="223,350" data-comments-opened="1" data-image-meta="{&quot;aperture&quot;:&quot;0&quot;,&quot;credit&quot;:&quot;&quot;,&quot;camera&quot;:&quot;&quot;,&quot;caption&quot;:&quot;&quot;,&quot;created_timestamp&quot;:&quot;0&quot;,&quot;copyright&quot;:&quot;&quot;,&quot;focal_length&quot;:&quot;0&quot;,&quot;iso&quot;:&quot;0&quot;,&quot;shutter_speed&quot;:&quot;0&quot;,&quot;title&quot;:&quot;&quot;,&quot;orientation&quot;:&quot;0&quot;}" data-image-title="rdata3" data-image-description="" data-medium-file="http://hochul.net/blog/wp-content/uploads/2018/03/rdata3-191x300.png" data-large-file="http://hochul.net/blog/wp-content/uploads/2018/03/rdata3.png" src="http://hochul.net/blog/wp-content/uploads/2018/03/rdata3.png" alt="" width="223" height="350" sizes="(max-width: 223px) 100vw, 223px"></a>

그림 3) : 테이블 형태로 빈도 포함한 단어 목록
<a href="http://hochul.net/blog/r_wordcloud_from_file/4_brewerall/" rel="attachment wp-att-961"><img data-attachment-id="961" data-permalink="http://hochul.net/blog/r_wordcloud_from_file/4_brewerall/" data-orig-file="http://hochul.net/blog/wp-content/uploads/2018/03/4_brewerall.png" data-orig-size="625,501" data-comments-opened="1" data-image-meta="{&quot;aperture&quot;:&quot;0&quot;,&quot;credit&quot;:&quot;&quot;,&quot;camera&quot;:&quot;&quot;,&quot;caption&quot;:&quot;&quot;,&quot;created_timestamp&quot;:&quot;0&quot;,&quot;copyright&quot;:&quot;&quot;,&quot;focal_length&quot;:&quot;0&quot;,&quot;iso&quot;:&quot;0&quot;,&quot;shutter_speed&quot;:&quot;0&quot;,&quot;title&quot;:&quot;&quot;,&quot;orientation&quot;:&quot;0&quot;}" data-image-title="4_brewerall" data-image-description="" data-medium-file="http://hochul.net/blog/wp-content/uploads/2018/03/4_brewerall-300x240.png" data-large-file="http://hochul.net/blog/wp-content/uploads/2018/03/4_brewerall.png" src="http://hochul.net/blog/wp-content/uploads/2018/03/4_brewerall.png" alt="" width="625" height="501" sizes="(max-width: 625px) 100vw, 625px"></a>
그림 4) : display.brewer.all() 함수 호출을 통해 확인할 수 있는 색상타입 목록 전체


<h3>Reference</h3>
<ul>
<li><a href="https://cran.r-project.org/web/packages/wordcloud/">https://cran.r-project.org/web/packages/wordcloud/</a></li>
<li><a href="https://cran.r-project.org/web/packages/KoNLP/">https://cran.r-project.org/web/packages/KoNLP/</a></li>
<li><a href="https://cran.r-project.org/web/packages/RColorBrewer/">https://cran.r-project.org/web/packages/RColorBrewer/</a></li>
</ul>

*) 기사 원문 모음 파일 : <a href="http://hochul.net/blog/wp-content/uploads/2018/03/Gartner_2014_18_TechTrend.txt">Gartner_2014_18_TechTrend.txt</a>

본 글은 최근 핫 이슈인 블록체인(BlockChain) 기반 기술로 만들어 진 블로그인 스팀잇(Steemit)의 제 계정(@hironlee)에도 같이 포스팅 되어 공유하고 있습니다.
<a href="https://steemit.com/wordcloud/@hironlee/r-wordcloud">https://steemit.com/wordcloud/@hironlee/r-wordcloud</a>
*)&nbsp;스팀잇(Steemit)은 블록체인 기반의 소셜 블로깅 서비스 입니다.
							</div></div>

Data First!

이전 포스팅(http://hochul.net/blog/top-10-strategic-technology-trends-from-gartner_2014-2018/)에 이어, R(RStudio)을 이용하여 최근 5년간의 전략기술 트렌드를 다룬 뉴스의 내용을 읽어 들여, 많이 언급된 단어의 빈도 순으로 크기를 조절하여 WordCloud를 만들어 보는 실습을 해보았습니다.
결과 WordCloud 
사용한 R Package 목록
KoNLP : 한글 자연어 처리 패키지 (Korean Natural Language Processing)
wordcloud : 주어진 데이터를 WordCloud 형태로 그리는 패키지
rvest : 웹페이지를 크롤링하는 패키징, 간단히 사용만 해봤으며, 디테일한 크롤링은 안해봄
RColorBrewer : R시각화 패키지
사용한 주요 함수
readLines(szFileName)
szContents <- readLines(szFileName)
szFileName 경로의 파일을 한 라인단위로 읽어 들이기
gsub(“찾을단어”,”바꿀단어”,szContents)
szContents <- gsub(“AI”,”인공지능”,szContents) : “AI” 라는 단어를 “인공지능”으로 치환
szContents <- gsub(“‘”,””,szContents) : “’” 특수문자를 공백으로 치환
등 문장 중 특정 단어를 치환, 필터링 하는 함수
sapply(szContents, extractNoun, USE.NAMES=F)
각 라인에서 명사 단어만 가져오기
brewer.all() : 제공 색상타입 모두 보기
wordcloud(….) : WordCloud 그리는 함수
scale : 빈도가 가장 큰 단어와 가장 빈도가 작은 단어 폰트 사이 크기, scale=c(5,0.2),
per=0.1 : 90도 회전해서 보여줄 단어 비율
freq=3, max.words=100  : 빈도 3이상, 100미만 단어 표현
order=F : True(랜덤배치) / False(빈도수가 큰단어를 중앙에 배치)
color=T : True(색상랜덤) / False(빈도수순으로 색상표현)
colors=brewer.pal(11, “Paired”) : 11은 사용할 색상개수, 두번째는 색상타입이름, 색상타입은 brewer.all() 참고
family : 폰트
savePlot(szWordCloudImageFile, type=”png”) : WordCloud 결과를 이미지 파일로 저장
R 소스코드
 
# 필요 Package 설치
install.packages("rvest") #웹페이지 크롤링을 위한 패키징
library("rvest")
szPostUrl1 <- "http://www.itworld.co.kr/news/106768"
szPostData1 <- read_html(szPostUrl1)
# 전체 페이지 크롤링은 쉬우나, 특정 영역 크롤링은 간단하지 않으므로 우선 Pass, 다음에 실습 예정
# 필요 Package 설치
install.packages("KoNLP") #한글 자연어 처리 패키지 (Korean Natural Language Process)
install.packages("wordcloud") #wordcloud 패키지
install.packages("RColorBrewer")
# Library 로드
library("KoNLP")
library("wordcloud")
library("RColorBrewer")
useSejongDic() #한글 세종사전
szFileName <- "D:\\Documents\\R\\RStudy\\data\\Gartner_2014_18_TechTrend.txt"
szWordSaveFileName <- "D:\\Documents\\R\\RStudy\\data\\Gartner_2014_18_TechTrend_Word.txt"
szWordCloudImageFile <- "D:\\Documents\\R\\RStudy\\data\\Gartner_2014_18_TechTrend_Word.png"
szContents <- readLines(szFileName) # 기사를 담은 파일에서 한 라인씩 읽어들이기
View(szContents) # 파일 내용 확인 (아래 그림1 참고)
# 불필요한 문자 필터링, 치환
szContents <- gsub("'","",szContents)
szContents <- gsub("‘","",szContents)
szContents <- gsub("\"","",szContents)
szContents <- gsub("“","",szContents)
szContents <- gsub("”","",szContents)
szContents <- gsub("기술","",szContents)
szContents <- gsub("가트너는","",szContents)
szContents <- gsub("하게","",szContents)
szContents <- gsub("10","",szContents)
szContents <- gsub("들이","",szContents)
szContents <- gsub("하기","",szContents)
szContents <- gsub("부사장","",szContents)
szContents <- gsub("가지","",szContents)
szContents <- gsub("AI","인공지능",szContents)
szNounsContents <- sapply(szContents, extractNoun, USE.NAMES=F) #각 라인마다 명사단어들만 남기기 
View(szNounsContents)
szNounsContentsList <- unlist(szNounsContents) #단어들만 가져오기
View(szNounsContentsList)
# 2글자 이상의 단어만 필터링
szLastData <- Filter(function(x) { nchar(x)>=2
 },szNounsContentsList)
## 최종 2글자 이상의 단어들의 목록
View(szLastData) ## 목록 확인 (아래 그림2 참고)
write(szLastData, szWordSaveFileName) # 결과 목록을 파일로 저장
szDataTable <- read.table(szWordSaveFileName)
View(szDataTable)
ListWordCount = table(szDataTable) # 테이블형태 변환해서 저장
View(ListWordCount) ## 테이블 형태로 저장 (아래 그림3 참고)
#### Word Cloud 그리기..
windows()
display.brewer.all() # 제공 색상타입 모두 보기 (아래 그림4 참고)
windowsFonts(font=windowsFont("맑은 고딕"))
### Word Cloud 함수 호출
wordcloud(
 names(ListWordCount), 
 freq=ListWordCount, 
 scale=c(5,0.2), #빈도가 가장 큰 단어와 가장 빈도가 작은단어 폰사 사이 크기
 rot.per=0.1, #90도 회전해서 보여줄 단어 비율
 min.freq=3, max.words=100, # 빈도 3이상, 100미만
 random.order=F, # True : 랜덤배치, False : 빈도수가 큰단어를 중앙에 배치
 random.color=T, # True : 색랜덤, False : 빈도순
 colors=brewer.pal(11, "Paired"), #11은 사용할 색상개수, 두번째는 색상타입이름
 family="font")
## 최종 이미지파일로 저장 
savePlot(szWordCloudImageFile, type="png”)
그림 1) : 문서 파일로부터 한 라인씩 읽어 들인 목록
 
그림 2) : 문서에서 2글자 이상의 단어들로만 재구성한 목록
 
그림 3) : 테이블 형태로 빈도 포함한 단어 목록
그림 4) : display.brewer.all() 함수 호출을 통해 확인할 수 있는 색상타입 목록 전체
 
Reference
https://cran.r-project.org/web/packages/wordcloud/
https://cran.r-project.org/web/packages/KoNLP/
https://cran.r-project.org/web/packages/RColorBrewer/
 
*) 기사 원문 모음 파일 : Gartner_2014_18_TechTrend.txt
 
본 글은 최근 핫 이슈인 블록체인(BlockChain) 기반 기술로 만들어 진 블로그인 스팀잇(Steemit)의 제 계정(@hironlee)에도 같이 포스팅 되어 공유하고 있습니다.
https://steemit.com/wordcloud/@hironlee/r-wordcloud
*) 스팀잇(Steemit)은 블록체인 기반의 소셜 블로깅 서비스 입니다.

R을 이용하여 파일로부터 문서를 읽어 WordCloud 그려보기

댓글