<div id="readability-page-1" class="page"><article><div><div><div><h2 id="74f3">‘7E’는 7(구)글 E(트)렌드의 약자</h2><div tabindex="-1" aria-hidden="false" role="tooltip"><a rel="noopener follow" href="/?source=post_page---byline--5cc6ba1dd8c0---------------------------------------" data-discover="true"><div><p><img alt="Jinhwan Kim" src="https://miro.medium.com/v2/resize:fill:64:64/1*vU_fccC8YOReY6tGTxackA.jpeg" width="32" height="32" loading="lazy" data-testid="authorPhoto"></p></div></a></div></div><p id="6e3c">뉴스레터라고 하면 좀 거창한데 아무튼 만들었다. 이번에 공유하는 <code>7E pick</code>은 특정한 주제에 대해 큐레이션 하고 사견을 붙이는 그런 종류는 아니고, 구글의 주요 검색어를 다음날 보여주는 뉴스레터다.</p><figure></figure><h3 id="85ee">왜 이걸 했는가</h3><p id="5c81">두가지 이유가 있는데, 하나는 최근 트렌드를 잘 따라가면서 좋은 소재를 찾아 요즘IT에 기고하기 위한 목적…! 이고, 다른 하나는 요즘 좀 상태가 메롱한 <a href="http://daily-devblog.com/" rel="noopener ugc nofollow" target="_blank">Daily DevBlog</a>를 포크 프로젝트로 해보기 전에 뉴스레터 서비스에 대한 연습과 이해가 두번째 목적이었다.</p><p id="09f2">그런데 기가 막히게 또 요즘 Daily DevBlog 가 정상적으로 잘 작동하는 것 같더라 ㅜㅜ</p><p id="09ee">또 하나 시작 전에 걱정했던 것은 비슷한 서비스가 있으면 어떡하지 였는데, iOS에 트렌드 라는 앱이 있었는데 얘가 변경된 구글 API에 적용하지 못했는지 다행히(?) 상태가 안좋아서 부담없이 만들 수 있었다.</p><figure><div role="button" tabindex="0"><p><span>Press enter or click to view image in full size</span></p></div></figure><p id="d616">이제 어떻게 했는지에 대한 썰을 풀어보겠음</p></div><div><h3 id="b78c">데이터</h3><p id="2a14">먼저 데이터는 최근 구글에서 “많이” 검색된 키워드들을 보여주는 구글 트렌드 페이지에서 RSS feed를 사용한다.</p><figure><div role="button" tabindex="0"><p><span>Press enter or click to view image in full size</span></p></div></figure><p id="dd38">구글 트렌드의 RSS 피드는 그 시점의 인기 키워드만 보여주기 때문에, 시간이 지나면 데이터를 확인하기 어렵다.<br> 그래서 매 시간 crontab으로 피드를 조회해서 SQLite에 저장하도록 했다.</p></div><div><div><h3 id="8e5e">서버</h3><p id="bb39">당연하게도 사용하는 mac에서 모든 작업들이 가능하지만, 24시간 맥을 항상 켜놓을 수는 없기 때문에 24시간 굴릴 수 있는 서버를 사용하는 것이 좋다.</p><p id="78c7">이 서버로는 클라우드를 사용하는 것이 간편하겠으나, 일단은 프리티어로 제공되는 서버들은 <strong>상당히 제한된 리소스</strong>만 사용이 가능했고, 또한 <a href="https://newdeal123.tistory.com/73" rel="noopener ugc nofollow" target="_blank"><strong>AWS 반성문</strong></a>… 등의 글들을 꽤 많이 접해왔던 나로써는 아예 그런 상황을 배제하고자 그냥 홈서버를 활용했다.</p><p id="216c">홈서버로는 내 기준에서는 낮은 유지비와 적절한 성능이 중요한 고려 사항이었기 때문에 알리에서 대충 20만원 아래의 미니 n100기반 미니pc를 구매했다. 이 하드웨어 쪽 부분은 내가 잘 아는 것은 아니기 때문에 <a href="https://news.hada.io/search?q=%ED%99%88%EC%84%9C%EB%B2%84" rel="noopener ugc nofollow" target="_blank">GeekNews</a>를 많이 참고했음.</p><p id="7e6d">가지고 있는 남는 노트북이나 구형 데스크탑도 성능에서는 괜찮은 선택지라고는 하는데, 아무래도 그렇게 까지 성능이 중요하지도 않은 작업일 뿐더러, 이 방법들은 미니 pc 보다는 물리적 공간을 더 많이 차지 하기 때문에 고려하지 않았다.</p><p id="c46b">구매한 PC는 요거 에서 SSD 512G, RAM 16G 옵션을 선택했고 대충 20만원 조금 덜 나왔다.</p><p id="07b3"><a href="https://ko.aliexpress.com/item/1005005234838380.html?gatewayAdapt=glo2kor" rel="noopener ugc nofollow" target="_blank">https://ko.aliexpress.com/item/1005005234838380.html?gatewayAdapt=glo2kor</a></p><p id="89e1">비슷한 성능을 클라우드에서 사용하려면 월 30만원 (네이버 클라우드), 월 32만원(GCP) 이상을 예상해야하기 때문에 그냥 홈서버 돌리는 것도 충분히 괜찮다고 생각함. (전기세는 별로 안드는 것 같다)</p></div><div><figure><div role="button" tabindex="0"><p><span>Press enter or click to view image in full size</span></p><picture><source srcset="https://miro.medium.com/v2/resize:fit:640/format:webp/1*cPJWJTTk7USwPW6W9ew0JA.png 640w, https://miro.medium.com/v2/resize:fit:720/format:webp/1*cPJWJTTk7USwPW6W9ew0JA.png 720w, https://miro.medium.com/v2/resize:fit:750/format:webp/1*cPJWJTTk7USwPW6W9ew0JA.png 750w, https://miro.medium.com/v2/resize:fit:786/format:webp/1*cPJWJTTk7USwPW6W9ew0JA.png 786w, https://miro.medium.com/v2/resize:fit:828/format:webp/1*cPJWJTTk7USwPW6W9ew0JA.png 828w, https://miro.medium.com/v2/resize:fit:1100/format:webp/1*cPJWJTTk7USwPW6W9ew0JA.png 1100w, https://miro.medium.com/v2/resize:fit:1200/format:webp/1*cPJWJTTk7USwPW6W9ew0JA.png 1200w" sizes="(min-resolution: 4dppx) and (max-width: 700px) 50vw, (-webkit-min-device-pixel-ratio: 4) and (max-width: 700px) 50vw, (min-resolution: 3dppx) and (max-width: 700px) 67vw, (-webkit-min-device-pixel-ratio: 3) and (max-width: 700px) 65vw, (min-resolution: 2.5dppx) and (max-width: 700px) 80vw, (-webkit-min-device-pixel-ratio: 2.5) and (max-width: 700px) 80vw, (min-resolution: 2dppx) and (max-width: 700px) 100vw, (-webkit-min-device-pixel-ratio: 2) and (max-width: 700px) 100vw, 600px" type="image/webp"><source data-testid="og" srcset="https://miro.medium.com/v2/resize:fit:640/1*cPJWJTTk7USwPW6W9ew0JA.png 640w, https://miro.medium.com/v2/resize:fit:720/1*cPJWJTTk7USwPW6W9ew0JA.png 720w, https://miro.medium.com/v2/resize:fit:750/1*cPJWJTTk7USwPW6W9ew0JA.png 750w, https://miro.medium.com/v2/resize:fit:786/1*cPJWJTTk7USwPW6W9ew0JA.png 786w, https://miro.medium.com/v2/resize:fit:828/1*cPJWJTTk7USwPW6W9ew0JA.png 828w, https://miro.medium.com/v2/resize:fit:1100/1*cPJWJTTk7USwPW6W9ew0JA.png 1100w, https://miro.medium.com/v2/resize:fit:1200/1*cPJWJTTk7USwPW6W9ew0JA.png 1200w" sizes="(min-resolution: 4dppx) and (max-width: 700px) 50vw, (-webkit-min-device-pixel-ratio: 4) and (max-width: 700px) 50vw, (min-resolution: 3dppx) and (max-width: 700px) 67vw, (-webkit-min-device-pixel-ratio: 3) and (max-width: 700px) 65vw, (min-resolution: 2.5dppx) and (max-width: 700px) 80vw, (-webkit-min-device-pixel-ratio: 2.5) and (max-width: 700px) 80vw, (min-resolution: 2dppx) and (max-width: 700px) 100vw, (-webkit-min-device-pixel-ratio: 2) and (max-width: 700px) 100vw, 600px"></picture></div></figure><figure><div role="button" tabindex="0"><p><span>Press enter or click to view image in full size</span></p><picture><source srcset="https://miro.medium.com/v2/resize:fit:640/format:webp/1*R19FceJGrYP-XNy_9WQb2Q.png 640w, https://miro.medium.com/v2/resize:fit:720/format:webp/1*R19FceJGrYP-XNy_9WQb2Q.png 720w, https://miro.medium.com/v2/resize:fit:750/format:webp/1*R19FceJGrYP-XNy_9WQb2Q.png 750w, https://miro.medium.com/v2/resize:fit:786/format:webp/1*R19FceJGrYP-XNy_9WQb2Q.png 786w, https://miro.medium.com/v2/resize:fit:828/format:webp/1*R19FceJGrYP-XNy_9WQb2Q.png 828w, https://miro.medium.com/v2/resize:fit:1100/format:webp/1*R19FceJGrYP-XNy_9WQb2Q.png 1100w, https://miro.medium.com/v2/resize:fit:802/format:webp/1*R19FceJGrYP-XNy_9WQb2Q.png 802w" sizes="(min-resolution: 4dppx) and (max-width: 700px) 50vw, (-webkit-min-device-pixel-ratio: 4) and (max-width: 700px) 50vw, (min-resolution: 3dppx) and (max-width: 700px) 67vw, (-webkit-min-device-pixel-ratio: 3) and (max-width: 700px) 65vw, (min-resolution: 2.5dppx) and (max-width: 700px) 80vw, (-webkit-min-device-pixel-ratio: 2.5) and (max-width: 700px) 80vw, (min-resolution: 2dppx) and (max-width: 700px) 100vw, (-webkit-min-device-pixel-ratio: 2) and (max-width: 700px) 100vw, 401px" type="image/webp"><source data-testid="og" srcset="https://miro.medium.com/v2/resize:fit:640/1*R19FceJGrYP-XNy_9WQb2Q.png 640w, https://miro.medium.com/v2/resize:fit:720/1*R19FceJGrYP-XNy_9WQb2Q.png 720w, https://miro.medium.com/v2/resize:fit:750/1*R19FceJGrYP-XNy_9WQb2Q.png 750w, https://miro.medium.com/v2/resize:fit:786/1*R19FceJGrYP-XNy_9WQb2Q.png 786w, https://miro.medium.com/v2/resize:fit:828/1*R19FceJGrYP-XNy_9WQb2Q.png 828w, https://miro.medium.com/v2/resize:fit:1100/1*R19FceJGrYP-XNy_9WQb2Q.png 1100w, https://miro.medium.com/v2/resize:fit:802/1*R19FceJGrYP-XNy_9WQb2Q.png 802w" sizes="(min-resolution: 4dppx) and (max-width: 700px) 50vw, (-webkit-min-device-pixel-ratio: 4) and (max-width: 700px) 50vw, (min-resolution: 3dppx) and (max-width: 700px) 67vw, (-webkit-min-device-pixel-ratio: 3) and (max-width: 700px) 65vw, (min-resolution: 2.5dppx) and (max-width: 700px) 80vw, (-webkit-min-device-pixel-ratio: 2.5) and (max-width: 700px) 80vw, (min-resolution: 2dppx) and (max-width: 700px) 100vw, (-webkit-min-device-pixel-ratio: 2) and (max-width: 700px) 100vw, 401px"></picture></div></figure></div><div><p id="cdef">홈서버 설정은 기본 내장된(?!) 윈도우를 밀고 우분투를 깔고 pro로 등록했다는 것 외에는 내가 참고한 글들을 포함해서 좋은 내용들이 많이 있기 때문에 별도로 다루지 않겠다.</p></div></div><div><h3 id="90f8">데이터 변환</h3><p id="ba0b">앞에서 sqlite에 저장한 내용을 기반으로 매일 뉴스레터를 만들기 위해서 SQL을 사용해 markdown으로 변환했다. 이를 위한 쿼리랑 쉘 스크립트 등은 AI랑 같이 만들었음.</p><p id="c8aa">처음에는 가능하면 디펜던시를 두고 싶지 않아서 쉘 스크립트만으로 구현하려 했지만, 복잡한 로직에서는 한계가 있더라. 혹시나 싶어서 Go로 요청하니까 훨씬 잘 짜줘서, 결국 쉘, SQL, Go 세 가지를 함께 사용 했고, 최종적으로는 Pandoc을 사용해 마크다운을 HTML로 변환했다.</p></div><div><h3 id="71d2">뉴스레터 보내기</h3><p id="708b">제일 고생한 파트. 한 3일 밤을 때려박았던 것 같다.</p><p id="6f0c">우선 흔히 뉴스레터를 보내기 위해 사용하는 서비스: 스티비, 메일리, 메일침프를 먼저 찾아봤다. 이들은 (당연하게도) 편리하지만 추가 요금을 지불해야하며, 만약 무료 요금제를 사용한다면 메일을 보내는 횟수와 대상이 되는 구독자 수 등 사용량에 제한이 많다.</p><figure><div role="button" tabindex="0"><p><span>Press enter or click to view image in full size</span></p></div></figure><figure><div role="button" tabindex="0"><p><span>Press enter or click to view image in full size</span></p></div></figure><figure><div role="button" tabindex="0"><p><span>Press enter or click to view image in full size</span></p></div></figure><p id="b2ce">내 입장에서는 뉴스레터 서비스를 위해 있으면 좋지만 없어도 상관 없는 기능들을 유료로 사용하기보단, 내가 보내고 싶은 대로보내는 것이 주 목적이었기 때문에 listmonk라는 오픈소스 기반의 솔루션을 사용하기로 결정했다. (안 써봤지만, <a href="https://ghost.org/" rel="noopener ugc nofollow" target="_blank">Ghost</a>도 괜찮다고 생각한다)</p><p id="bca0">Linkmonk는 하나부터 열까지. 물론 열까지라고 하면 뻥이지만 아무튼 대부분을 원하는 대로 할 수 있다. 이 말은 다 내가 해야한다는 뜻이기도 하다. 물론 기본 템플릿을 그대로 써도 상관은 없지만, 나는 내 취향대로 로고나 문구 같은 것들을 고쳐서 썼다.</p></div><div><h3 id="847c">최종 아키텍쳐 및 결과</h3><figure><div role="button" tabindex="0"><p><span>Press enter or click to view image in full size</span></p></div></figure><p id="b253">아키텍쳐라고 하면 조금 고상하고, 아무튼 전체 흐름은 이렇다. 추가로, 메일을 보내기 위해 SMTP를 자체 구현하진 않았고 지메일을 사용했다. 그래서 요렇게 옴.</p><figure><div role="button" tabindex="0"><p><span>Press enter or click to view image in full size</span></p></div></figure></div><div><h3 id="34b1">기타 기록들</h3><ul><li id="791e">구독자 수가 많거나, 발송 회수가 많이 필요한 것이 아니라면 그냥 뉴스레터 서비스 무료 요금제를 쓰는 것이 훨씬 더 편하다. 특히 많은 뉴스레터들이 주 1회로도 충분히 운영하고 있음 ㅋㅋ</li><li id="f2e5">특정 트렌드 키워드마다, 연관 뉴스들을 함께 포함시켜서 왜 이 키워드들이 검색 되었는지 알 수 있게 추가 했다.</li><li id="7458">구글 검색어를 기준으로 하다보니, 넒은 범위의 “트렌드”들이 많이 잡히는데 스포츠, 연예 관련 뉴스들이 굉장히 많다. 특히나 이상한 것은 SSG, NC 같은 영문 키워드는 연관 뉴스로 이상한 것들이 등장한다.</li></ul><figure><div role="button" tabindex="0"><p><span>Press enter or click to view image in full size</span></p></div></figure><ul><li id="e675">한국 거주 외국인들도 꽤 많은 지분을 차지하는지 해외 검색어도 많다.</li></ul><figure><div role="button" tabindex="0"><p><span>Press enter or click to view image in full size</span></p></div></figure><ul><li id="1e70">원래 목적은 최신 (IT) 트렌드가 어떤 것들이 있는지 메일로 (자동으로) 보고 싶어서 인데, 뭔가 뭔가다. 없진 않지만 다른 것들이 더 많다.</li></ul><p id="fc59">구독은 👉 <a href="https://7epick.jahnen.io/" rel="noopener ugc nofollow" target="_blank">여기</a>서</p></div></div></article></div>

Stories by Jinhwan Kim on Medium

‘7E’는 7(구)글 E(트)렌드의 약자
뉴스레터라고 하면 좀 거창한데 아무튼 만들었다. 이번에 공유하는 7E pick은 특정한 주제에 대해 큐레이션 하고 사견을 붙이는 그런 종류는 아니고, 구글의 주요 검색어를 다음날 보여주는 뉴스레터다.
왜 이걸 했는가
두가지 이유가 있는데, 하나는 최근 트렌드를 잘 따라가면서 좋은 소재를 찾아 요즘IT에 기고하기 위한 목적…! 이고, 다른 하나는 요즘 좀 상태가 메롱한 Daily DevBlog를 포크 프로젝트로 해보기 전에 뉴스레터 서비스에 대한 연습과 이해가 두번째 목적이었다.
그런데 기가 막히게 또 요즘 Daily DevBlog 가 정상적으로 잘 작동하는 것 같더라 ㅜㅜ
또 하나 시작 전에 걱정했던 것은 비슷한 서비스가 있으면 어떡하지 였는데, iOS에 트렌드 라는 앱이 있었는데 얘가 변경된 구글 API에 적용하지 못했는지 다행히(?) 상태가 안좋아서 부담없이 만들 수 있었다.
이제 어떻게 했는지에 대한 썰을 풀어보겠음
데이터
먼저 데이터는 최근 구글에서 “많이” 검색된 키워드들을 보여주는 구글 트렌드 페이지에서 RSS feed를 사용한다.
Trending Now - Google Trends
구글 트렌드의 RSS 피드는 그 시점의 인기 키워드만 보여주기 때문에, 시간이 지나면 데이터를 확인하기 어렵다.
 그래서 매 시간 crontab으로 피드를 조회해서 SQLite에 저장하도록 했다.
서버
당연하게도 사용하는 mac에서 모든 작업들이 가능하지만, 24시간 맥을 항상 켜놓을 수는 없기 때문에 24시간 굴릴 수 있는 서버를 사용하는 것이 좋다.
이 서버로는 클라우드를 사용하는 것이 간편하겠으나, 일단은 프리티어로 제공되는 서버들은 상당히 제한된 리소스만 사용이 가능했고, 또한 AWS 반성문… 등의 글들을 꽤 많이 접해왔던 나로써는 아예 그런 상황을 배제하고자 그냥 홈서버를 활용했다.
홈서버로는 내 기준에서는 낮은 유지비와 적절한 성능이 중요한 고려 사항이었기 때문에 알리에서 대충 20만원 아래의 미니 n100기반 미니pc를 구매했다. 이 하드웨어 쪽 부분은 내가 잘 아는 것은 아니기 때문에 GeekNews를 많이 참고했음.
가지고 있는 남는 노트북이나 구형 데스크탑도 성능에서는 괜찮은 선택지라고는 하는데, 아무래도 그렇게 까지 성능이 중요하지도 않은 작업일 뿐더러, 이 방법들은 미니 pc 보다는 물리적 공간을 더 많이 차지 하기 때문에 고려하지 않았다.
구매한 PC는 요거 에서 SSD 512G, RAM 16G 옵션을 선택했고 대충 20만원 조금 덜 나왔다.
https://ko.aliexpress.com/item/1005005234838380.html?gatewayAdapt=glo2kor
비슷한 성능을 클라우드에서 사용하려면 월 30만원 (네이버 클라우드), 월 32만원(GCP) 이상을 예상해야하기 때문에 그냥 홈서버 돌리는 것도 충분히 괜찮다고 생각함. (전기세는 별로 안드는 것 같다)
홈서버 설정은 기본 내장된(?!) 윈도우를 밀고 우분투를 깔고 pro로 등록했다는 것 외에는 내가 참고한 글들을 포함해서 좋은 내용들이 많이 있기 때문에 별도로 다루지 않겠다.
데이터 변환
앞에서 sqlite에 저장한 내용을 기반으로 매일 뉴스레터를 만들기 위해서 SQL을 사용해 markdown으로 변환했다. 이를 위한 쿼리랑 쉘 스크립트 등은 AI랑 같이 만들었음.
처음에는 가능하면 디펜던시를 두고 싶지 않아서 쉘 스크립트만으로 구현하려 했지만, 복잡한 로직에서는 한계가 있더라. 혹시나 싶어서 Go로 요청하니까 훨씬 잘 짜줘서, 결국 쉘, SQL, Go 세 가지를 함께 사용 했고, 최종적으로는 Pandoc을 사용해 마크다운을 HTML로 변환했다.
뉴스레터 보내기
제일 고생한 파트. 한 3일 밤을 때려박았던 것 같다.
우선 흔히 뉴스레터를 보내기 위해 사용하는 서비스: 스티비, 메일리, 메일침프를 먼저 찾아봤다. 이들은 (당연하게도) 편리하지만 추가 요금을 지불해야하며, 만약 무료 요금제를 사용한다면 메일을 보내는 횟수와 대상이 되는 구독자 수 등 사용량에 제한이 많다.
내 입장에서는 뉴스레터 서비스를 위해 있으면 좋지만 없어도 상관 없는 기능들을 유료로 사용하기보단, 내가 보내고 싶은 대로보내는 것이 주 목적이었기 때문에 listmonk라는 오픈소스 기반의 솔루션을 사용하기로 결정했다. (안 써봤지만, Ghost도 괜찮다고 생각한다)
listmonk - Free and open source self-hosted newsletter, mailing list manager, and transactional mails
Linkmonk는 하나부터 열까지. 물론 열까지라고 하면 뻥이지만 아무튼 대부분을 원하는 대로 할 수 있다. 이 말은 다 내가 해야한다는 뜻이기도 하다. 물론 기본 템플릿을 그대로 써도 상관은 없지만, 나는 내 취향대로 로고나 문구 같은 것들을 고쳐서 썼다.
최종 아키텍쳐 및 결과
아키텍쳐라고 하면 조금 고상하고, 아무튼 전체 흐름은 이렇다. 추가로, 메일을 보내기 위해 SMTP를 자체 구현하진 않았고 지메일을 사용했다. 그래서 요렇게 옴.
기타 기록들
구독자 수가 많거나, 발송 회수가 많이 필요한 것이 아니라면 그냥 뉴스레터 서비스 무료 요금제를 쓰는 것이 훨씬 더 편하다. 특히 많은 뉴스레터들이 주 1회로도 충분히 운영하고 있음 ㅋㅋ
특정 트렌드 키워드마다, 연관 뉴스들을 함께 포함시켜서 왜 이 키워드들이 검색 되었는지 알 수 있게 추가 했다.
구글 검색어를 기준으로 하다보니, 넒은 범위의 “트렌드”들이 많이 잡히는데 스포츠, 연예 관련 뉴스들이 굉장히 많다. 특히나 이상한 것은 SSG, NC 같은 영문 키워드는 연관 뉴스로 이상한 것들이 등장한다.
한국 거주 외국인들도 꽤 많은 지분을 차지하는지 해외 검색어도 많다.
원래 목적은 최신 (IT) 트렌드가 어떤 것들이 있는지 메일로 (자동으로) 보고 싶어서 인데, 뭔가 뭔가다. 없진 않지만 다른 것들이 더 많다.
구독은 👉 여기서

구글 트렌드를 매일 정리하는 7E pick 뉴스레터 시작

댓글