<div id="readability-page-1" class="page"><time>2019-11-14 에 작성하고, 2020-03-09 14:21:00 에 업데이트한 문서입니다. ✅</time> — <a href="/tags/devops">Devops</a>, <a href="/tags/data">Data</a> — 2 min read<section>안녕하세요, junebuug입니다. 어느날 저는 jenkins job을 구성하다가 PR 이 닫히면 jenkins job이 동작하는 걸 만들어야했습니다.
그런데 jenkins에서 자주 쓴다는 github pull request builder는 이런 기능을 지원하지 않더군요. 😢
jenkins url 에 hook을 걸어서 event를 받는 기능이 있지만, 모종의 이유로 제대로 동작하지 않았습니다. 그래서 그냥 github api 를 사용하기로 했습니다.
PR이 닫히면 job 실행 이 아니라
cron 으로 매일 job 실행 ➡️ 닫힌 PR 중 특정 label이 달린 것만 가져오기! 로 방향을 바꾸었습니다.
그리고 해당 PR의 branch 이름을 깔끔하게 만들어서 다음 작업을 준비합니다. 위 과정에서 github api 결과 값을 정제하기 위해서 jq를 사용했는데요.
쓸모가 많은 툴이라 여겨져서 소개합니다.<h2>jq는?</h2>커맨드라인에서 json을 정제할 수 있는 툴로, 공식 홈페이지는 <a href="https://stedolan.github.io/jq/">여기</a>. c로 만들어져, json을 자르고 필터링하고 map 하는 데 최적화되어있습니다. <h3>jq를 다운로드하자</h3><a href="https://stedolan.github.io/jq/download/">다운로드 설명 링크</a> 를 참조하면 상세히 나와있습니다. 여기서는 OS X와 Cent OS (Linux) 만 간단하게 소개하겠습니다. <h2>github api 의 응답형태 구경하기</h2>샘플 프로젝트를 함께 보시죠.
알고리즘 공부 레포인 <code>we-dont-know-algorithm</code> 을 활용합니다.
갖고 오고 싶은 PR은 다음과 같이 <code>june</code> label이 달린 PR입니다. 
 
 <img alt="img" title="img" src="https://juneyr.dev/static/b6ab8e43378f80ec40b82dd26954dfc8/7d769/scrn.png" sizes="(max-width: 960px) 100vw, 960px" loading="lazy">
 그럼 <a href="https://github.com/settings/tokens">github token을 발급</a> 받아서 github api를 사용해봅니다. 목적을 다시 정리해봅니다.<blockquote>PR인데, closed 이고, 특정한 label이 있으면 좋겠어. 그런데 branch 이름이 필요하고, 만약 필요없는 스트링이 붙어있는 정보라면 제거하고 싶다. </blockquote><h3>Closed PR 가지고 오기</h3>![img](../img/2019-11-14/scrn 1.png)github api 엔드포인트 뒤에, <code>repos/&lt;team혹은user명&gt;/&lt;repo명&gt;/pulls...</code> 를 붙여주면 쉽게 목적을 달성할 수 있습니다. 여기에 <code>state=closed</code>를 명시하여 닫힌 PR만 가져올 수 있게 되었습니다. 이 결과값이 너무 길어서, 이를 result.json이라는 이름의 파일로 저장하고 열어봅니다.<h3>필요한 정보만 보기 - branch, label, PR 제목</h3>![img](../img/2019-11-14/scrn 2.png)cat으로 json을 열어보니 막막합니다. 우리가 필요한 정보는 어디 있는 걸까요? ![img](../img/2019-11-14/scrn 3.png)빠르게 찾기 위해 <code>:/&lt;검색어&gt;</code> 커맨드를 사용해서 label 을 찾았습니다. label 하위 name 이라는 key에 우리가 찾는 <code>june</code> label이름이 있군요.
branch 명은 <code>".head.label"</code> 라는 key 아래 있는 걸 확인했고, <code>"title"</code> 하위에는 PR 제목이 있습니다.
이제 이것만 뽑아보겠습니다.json 뒤에 <code>| jq &lt;명령어&gt;</code> 를 실행하면 json을 정제할 수 있습니다. <code>cat result.json | jq .</code> 를 하면 깔끔하게 json을 보여줍니다.
![img](../img/2019-11-14/scrn 4.png)보시면 전체 array 가 표현되는 것을 볼 수 있습니다.<code>cat result.json | jq .[]</code> 을 실행해봅니다. ![img](../img/2019-11-14/scrn 6.png)아까와 다르게 array 안쪽의 dict 형태가 보입니다. 이렇게
<code>jq .[0]</code> 을 실행하면 array의 0번째 원소에 접근할 수 있고, <code>jq .[]</code>만 실행하면 전체 배열에 필터를 적용합니다.이제 필요한 정보만 뽑아서 새로운 키로 할당합니다.
전체 배열 중 <ul><li>.head.label ➡️ branch</li><li>.title ➡️ title</li><li>labels ➡️ labels
로 매핑합니다.
이 결과에 <code>[]</code>로 감싸 전체를 array로 묶습니다.</li></ul><code>jq '[.[] | { branch: .head.label, title: .title, labels: .labels}]' </code> ![img](../img/2019-11-14/scrn 5.png)훌륭하게 골라내졌습니다! <h3>label 로 뽑기 &amp;&amp; branch 이름 변환하기</h3>이제 <code>june</code> 레이블만 있는 값들을 골라냅니다. <code>select(boolean_expression)</code> 를 사용하면 조건에 맞는 것들을 골라낼 수 있습니다.
array를 필터링하는데 유용합니다. 다음 명령어를 사용합니다.<code>jq '[ .[] | select((.labels | .[].name | contains("june")))]'</code>위에서 정제한 json을 기억해주세요.
<code>(.labels | .[].name | contains("june"))</code>
labels 하위 값들 중 name이 <code>june</code> 이라는 스트링을 포함하고 있는지? 라는 boolean expression입니다. 이 조건을 만족하는 결과만 필터링합니다.![img](../img/2019-11-14/scrn 7.png)
거의 다되었습니다! =)그런데.. branch 이름 앞에 무언가 있습니다. 공통적으로 붙은 단체 명이네요. 이걸 제거해보도록 하겠습니다.
<code>sub</code> 를 사용해서 값을 대체해줍니다. 그리고 해당 branch 이름을 프린트합니다.<code>jq '.[].branch | sub("we-dont-know-algorithm:"; "")</code>이것까지 적용하면 완성입니다.
![img](../img/2019-11-14/scrn 8.png)<h2>마치며</h2>jq 는 사용에 따라서 간단한 필터링, 매핑은 모두 처리해줄 수 있습니다.
여러 사례들을 보면서 익혀두면 유용할 것 같습니다. 고맙습니다.</section></div>

Juneyr.dev RSS Feed

June Kim

안녕하세요, junebuug입니다.  어느날 저는 jenkins job을 구성하다가 PR 이 닫히면 jenkins job이 동작하는 걸 만들어야했습니다.
그런데 jenkins에서 자주 쓴다는 github pull request builder는 이런 기능을 지원하지 않더군요. 😢
jenkins url 에 hook을 걸어서 event를 받는 기능이 있지만, 모종의 이유로 제대로 동작하지 않았습니다.  그래서 그냥 github…

커맨드라인에서 json을 정제해봅시다 📋 : jq

댓글