<div id="readability-page-1" class="page"><div>
 Jenkins Workspace 동시성 문제
 
 
 WorkspaceList
 
 
 
 </div><div v-pre="">
 
 <h2 id="개요">개요</h2>
Jenkins Pipeline을 사용해서 잡 스케줄러를 실행하기 위해
<a href="https://www.jenkins.io/doc/book/pipeline/syntax/#triggers">triggers</a> directive를 사용했다.
<div><pre tabindex="0"><code data-lang="groovy">pipeline {
 agent any

 triggers {
 cron("* * * * *") // HERE
 }

 stages {...}

 post {
 always {
 cleanWs(cleanWhenNotBuilt: false,
 deleteDirs: true,
 disableDeferredWipeout: true,
 notFailBuild: true,
 patterns: [
 [pattern: '.git/**', type: 'EXCLUDE'],
 [pattern: '.gitignore', type: 'EXCLUDE'],
 [pattern: '.meta/**', type: 'EXCLUDE'],
 ]
 )
 }
 }
}
</code></pre></div>해당 Job은 빌드 간 메타데이터(<code>.meta/</code>)를 공유해야 했기 때문에
<a href="https://plugins.jenkins.io/ws-cleanup/">cleanWs</a> 플러그인에서도
<code>.git</code> 디렉토리와 함께 삭제되지 않도록 설정했다.
하지만 무슨 이유인지 메타데이터가 간헐적으로 누락되었고,
작업도 원하는대로 동작하지 않고 있었다.
<h2 id="workspacelist">WorkspaceList</h2>
Jenkins에서 Job을 실행할 경우 말그대로 작업 공간을 위한
Workspace(<code>$JENKINS_HOME/workspace</code>) 디렉토리가 생성된다.
<div><pre tabindex="0"><code data-lang="java">// hudson.slaves.WorkspaceList
public synchronized Lease allocate(@NonNull FilePath base, Object context) throws InterruptedException {
 for (int i = 1; ; i++) {
 FilePath candidate = i == 1 ? base : base.withSuffix("@" + i);
 Entry e = inUse.get(candidate.getRemote());
 if (e != null &amp;&amp; !e.quick &amp;&amp; e.context != context)
 continue;
 return acquire(candidate, false, context);
 }
}
</code></pre></div>Jenkins는 Workspace 목록을 별도의 메타데이터 파일에 저장해서 관리하지 않는다.
Jenkins 런타임의 <a href="https://github.com/jenkinsci/jenkins/blob/jenkins-2.374/core/src/main/java/hudson/slaves/WorkspaceList.java">WorkspaceList 객체</a>에
전체 Workspace 목록을 저장한다.
<div><pre tabindex="0"><code data-lang="java">// hudson.slaves.WorkspaceList
/**
 * Used by {@link Computer} to keep track of workspaces that are actively in use.
 */
public final class WorkspaceList {

 private static final class AllocationAt extends Exception {...}
 
 /**
 * Book keeping for workspace allocation.
 */
 public static final class Entry {...}
 
 /**
 * Represents a leased workspace that needs to be returned later.
 */
 public abstract static class Lease implements /*Auto*/Closeable {...}

 // ...
}
</code></pre></div><h2 id="문제">문제</h2>
만약 파이프라인에서 <code>Concurrent Build</code> 옵션을 허용한 채
여러 개의 빌드를 동시에 실행하면 간혹 <code>job_name</code> workspace에서 실행되지 않고
<code>job_name@2</code> 에서만 실행되는 경우가 있다.
그런데 메타데이터 파일을 공유해서 사용해야 하는 경우
<code>job_name</code> workspace에서 실행되기를 보장해야 한다.
<h2 id="해결">해결</h2>
Jenkins Master 프로세스를 재시작해서 <code>WorkspaceList</code>를 초기화하거나
새로운 이름의 Job을 생성하면 새로운 이름의 workspace에서 빌드할 수 있다.
이후 <a href="https://en.wikipedia.org/wiki/Thread_safety">스레드 안전성</a>을 보장하기 위해
<code>Concurrent Build</code> 옵션을 허용하지 않은 채 빌드한다.
<div><pre tabindex="0"><code data-lang="groovy">pipeline {
 agent any

 triggers {
 cron("* * * * *")
 }
 
 // https://www.jenkins.io/doc/book/pipeline/syntax/#options
 options {
 // cron 설정에 따라 빌드 간 겹치지 않도록 타임아웃을 설정한다.
 timeout(time: 50, unit: 'SECONDS')
 
 // 빌드 스케줄이 2개 생성되면 'job_name', 'job_name@2' workspace가 생성되고
 // metadata를 각각 관리하게 된다. abortPrevious 값을 true로 설정하면
 // 이미 빌드 중인 프로세스와 겹쳐서 'job_name@2' workspace가 생성되더라도
 // 이후 빌드부터는 기존 빌드 프로세스가 제거되고 'job_name' workspace에서 실행된다.
 disableConcurrentBuilds(abortPrevious: true)
 }

 stages {...}
}
</code></pre></div><h2 id="timeout과-cron">timeout과 cron</h2>
Crontab(Unix의 Job Scheduler)처럼 Jenkins는 <code>cron</code> 설정을 통해 잡 스케줄러를 만들 수 있다.
Jenkins <code>cron</code>의 최소 간격은 1분(<code>* * * * *</code>)이다.
<h2 id="문제-1">문제</h2>
<code>timeout</code> 설정도 <code>cron</code> 설정과 같이 1분으로 두면 timeout abort 되기 전
<code>job_name@2</code> workspace 디렉토리가 생성되고 별도의 메타데이터를 갖는 Job이 실행될 수 있다.
<h2 id="해결-1">해결</h2>
만약 <code>cron</code> 간격을 1분으로 설정했다면 <code>timeout</code>을 50초로 설정하는 등 차이를 둔다. (55초는 살짝 겹쳤다…)
<div><pre tabindex="0"><code data-lang="groovy">timeout(time: 50, unit: 'SECONDS')
</code></pre></div>
 
 
 
 
 </div></div>

임창수 블로그

Changsu

개요 Jenkins Pipeline을 사용해서 잡 스케줄러를 실행하기 위해 triggers directive를 사용했다.
pipeline { agent any triggers { cron("* * * * *") // HERE  } stages {...} post { always { cleanWs(cleanWhenNotBuilt: false, deleteDirs: true, disableDeferredWipeout: true, notFailBuild: true, patterns: [ [pattern: '.git/**', type: 'EXCLUDE'], [pattern: '.gitignore', type: 'EXCLUDE'], [pattern: '.meta/**', type: 'EXCLUDE'], ] ) } } } 해당 Job은 빌드 간 메타데이터(.meta/)를 공유해야 했기 때문에 cleanWs 플러그인에서도 .git 디렉토리와 함께 삭제되지 않도록 설정했다.

Jenkins Workspace 동시성 문제

댓글