<div id="readability-page-1" class="page"><div role="banner"> <div>  <h4>02 Jan 2023</h4> <p> <i></i> Reading time ~3 minutes </p> </div> <h2 id="aws의-code-pipline-에서-sonarqube-사용하기">AWS의 Code pipline 에서 SonarQube 사용하기</h2> <blockquote> <p>SonarQube는 20개 이상의 프로그래밍 언어에서 버그, 코드 스멜, 보안 취약점을 발견할 목적으로 정적 코드 분석으로 자동 리뷰를 수행하기 위한 지속적인 코드 품질 검사용 오픈 소스 플랫폼입니다. 또한 중복 코드, 코딩 표준, 유닛 테스트, 코드 커버리지, 코드 복잡도, 주석, 버그 및 보안 취약점의 보고서를 제공합니다. <a href="https://ko.wikipedia.org/wiki/%EC%86%8C%EB%82%98%ED%81%90%EB%B8%8C">wiki</a></p> </blockquote> <h2 id="설치-준비">설치 준비</h2> <p>설치하는 방식은 쉽게 Docker Image를 이용하는 방식과 Ec2에 설치하는 방식이 있습니다. 이번 글에서는 간단하게 Ec2에 설치하는 방식으로 진행합니다.</p> <h3 id="필요-소프트웨어">필요 소프트웨어</h3> <ul> <li>JDK 11 또는 JRE 11 이상</li> <li>DBMS(Options) <ul> <li>PostgreSQL 11 이상</li> <li>Oracle 12C 이상</li> </ul> </li> <li>Web browser(Client) <ul> <li>Microsoft Edge</li> <li>Mozilla Firefox</li> <li>Google Chrome</li> <li>Safari</li> </ul> </li> </ul> <h3 id="hardware-권장-사양">Hardware 권장 사양</h3> <ul> <li>1 core 이상의 CPU</li> <li>최소 3G 이상의 메모리</li> </ul> <h2 id="설치-하기">설치 하기</h2> <blockquote> <p>AWS Ec2가 준비 되어 있다는 전제 하에, DBMS를 제외하고 설치를 진행합니다.</p> </blockquote> <h3 id="1-업데이트--필요-패키지-설치">1. 업데이트 &amp; 필요 패키지 설치</h3> <div><pre><code><span>$ </span><span>sudo </span>yum update <span>-y</span>
<span>$ </span><span>sudo </span>yum install wget unzip <span>-y</span>
</code></pre></div> <div><pre><code><span># file &amp; memory update current session</span>
<span>$ </span><span>sudo </span>sysctl <span>-w</span> vm.max_map_count<span>=</span>524288
<span>$ </span><span>sudo </span>sysctl <span>-w</span> fs.file-max<span>=</span>131072
<span>$ </span><span>sudo ulimit</span> <span>-n</span> 131072
<span>$ </span><span>sudo ulimit</span> <span>-u</span> 8192
</code></pre></div> <p><code>/etc/security/limits.conf</code> 파일을 아래와 같이 수정해 두면 서버가 재부팅이 되어서 반영 됩니다.</p> <div><pre><code><span>"account-name"</span>   -   nofile   131072
<span>"account-name"</span>   -   nproc    8192
</code></pre></div> <h3 id="2-jdk-11-설치">2. JDK 11 설치</h3> <blockquote> <p>open jdk 11을 설치 합니다.</p> </blockquote> <div><pre><code><span>$ </span><span>sudo </span>amazon-linux-extras install java-openjdk11

<span>$ </span><span>sudo </span>yum install java-11-openjdk-devel <span>-y</span>
</code></pre></div> <p>또는 실행파일을 받아서 설치 할 수 있습니다.</p> <div><pre><code><span>$ </span>curl <span>-O</span> https://download.java.net/java/GA/jdk11/13/GPL/openjdk-11.0.1_linux-x64_bin.tar.gz
<span>$ </span><span>tar </span>zxvf openjdk-11.0.1_linux-x64_bin.tar.gz
<span>$ </span><span>sudo </span>chmod <span>-R</span> 755 /usr/local/jdk-11.0.1
<span># 이 부분은 .bashrc 에 추가 해도 됩니다. </span>
<span>$ </span><span>export </span><span>JAVA_HOME</span><span>=</span>/usr/local/jdk-11.0.1
<span>$ </span><span>export </span><span>PATH</span><span>=</span><span>$JAVA_HOME</span>/bin:<span>$PATH</span>
</code></pre></div> <h3 id="3-sonarqube-설치">3. SonarQube 설치</h3> <div><pre><code><span># 작업 디렉터리로 이동</span>
<span>$ </span><span>cd</span> /applications
<span># 9.8 버젼으로 설치 진행</span>
<span>$ </span>wget https://binaries.sonarsource.com/Distribution/sonarqube/sonarqube-9.8.0.63668.zip

<span>$ </span>unzip sonarqube-9.8.0.63668.zip
</code></pre></div> <h3 id="4-sonarqube-실행">4. SonarQube 실행</h3> <div><pre><code><span># OS 에 알맞은 실행 위치로 이동</span>
<span>$ </span><span>cd</span> /applications/sonarqube-9.8.0.63668/bin/linux-x86-64
<span># 명령어 확인</span>
<span>$ </span>./sonar.sh
/usr/local/jdk-11.0.1/bin/java
Usage: ./sonar.sh <span>{</span> console | start | stop | force-stop | restart | status | dump <span>}</span>
<span># 실행</span>
<span>$ </span>./sonar.sh start
</code></pre></div> <h3 id="5-9000-포트-열기">5. 9000 포트 열기</h3> <p>기본 포트는 <code>9000</code>으로 해당 포트를 열고 <code>web browser</code>로 접근하면 됩니다.</p> <h2 id="sonarqube-연동-하기">SonarQube 연동 하기</h2> <h3 id="1-로그인">1. 로그인</h3> <p><img src="https://lahuman.github.io/assets/img/post_img/sonarqube-login.png" alt=""></p> <p>로그인 초기 ID / PW는 <code>admin</code>/<code>admin</code> 입니다.</p> <p>로그인을 하면 초기 비밀번호를 변경하라고 가이드 합니다.</p> <h3 id="2-프로젝트-생성">2. 프로젝트 생성</h3> <p><code>Manually</code> 추가 선택</p> <p><img src="https://lahuman.github.io/assets/img/post_img/sonarqube-create-project.png" alt=""></p> <p>내용 입력 후 저장 하면, 프로젝트 생성이 완료 됩니다.</p> <h3 id="3-프로젝트-설정">3. 프로젝트 설정</h3> <p><code>Locally</code> 를 선택하고</p> <p><img src="https://lahuman.github.io/assets/img/post_img/sonarqube-locally.png" alt=""></p> <p>토큰 생성 합니다.</p> <p><img src="https://lahuman.github.io/assets/img/post_img/sonarqube-gen_token.png" alt=""></p> <p>분석하려는 언어 와 환경을 선택합니다.</p> <p><img src="https://lahuman.github.io/assets/img/post_img/sonarqube-run-analysis.png" alt=""></p> <p>아래와 같은 sonar-scanner를 이용한 분석 처리 준비가 완료 되었습니다.</p> <div><pre><code><span>$ </span>sonar-scanner <span>\ </span>
  <span>-Dsonar</span>.projectKey<span>=</span>doc4sm <span>\ </span><span># project 이름</span>
  <span>-Dsonar</span>.sources<span>=</span><span>.</span> <span>\ </span><span># 분석 소스 위치</span>
  <span>-Dsonar</span>.host.url<span>=</span>http://lahuman.github.io:9000 <span>\ </span><span># host 주소</span>
  <span>-Dsonar</span>.login<span>=</span>sqp_fasdfee85ujliuod4d38fa02b2d65f964726aca5 <span># 생성한 토큰 정보 </span>
</code></pre></div> <blockquote> <p><a href="https://docs.sonarqube.org/9.8/analyzing-source-code/scanners/sonarscanner/">sonarscanner</a> 는 여서 받을 수 있습니다.</p> </blockquote> <h3 id="4-프로젝트-분석-결과">4. 프로젝트 분석 결과</h3> <blockquote> <p><a href="https://docs.sonarqube.org/9.8/analyzing-source-code/scanners/sonarscanner/">sonarscanner</a> 를 이용해서 분석을 진행하면, 아래와 같은 결과를 확인 할 수 있습니다.</p> </blockquote> <p><img src="https://lahuman.github.io/assets/img/post_img/sonarqube-result.png" alt=""></p> <h2 id="aws-codepipeline-과-연동하기">AWS CodePipeline 과 연동하기</h2> <blockquote> <p>AWS CodePipeline 이 이미 존재하고, 여기에 Code-review를 추가하는 방식으로 연동 합니다.</p> </blockquote> <h3 id="1-codecommit--pipeline--상세-이동-후-edit-add-stage-버튼을-클릭">1. CodeCommit =&gt; Pipeline =&gt; 상세 이동 후 Edit add Stage 버튼을 클릭</h3> <p><img src="https://lahuman.github.io/assets/img/post_img/aws-codepipeline-addstage.png" alt=""></p> <h3 id="2-add-action-버튼-클릭-후-알맞은-값-설정">2. Add Action 버튼 클릭 후 알맞은 값 설정</h3> <p><img src="https://lahuman.github.io/assets/img/post_img/aws-codepipeline-addaction.png" alt=""></p> <h3 id="3-create-build-project-버튼-클릭-후-build-project-설정">3. Create Build Project 버튼 클릭 후 build project 설정</h3> <p><img src="https://lahuman.github.io/assets/img/post_img/aws-codepipeline-create-build-project-1.png" alt=""></p> <p><img src="https://lahuman.github.io/assets/img/post_img/aws-codepipeline-create-build-project-2.png" alt=""></p> <p><img src="https://lahuman.github.io/assets/img/post_img/aws-codepipeline-create-build-project-3.png" alt=""></p> <p><code>import build commands</code>는 아래와 같습니다.</p> <div><pre><code>version: 0.2
env:
  shell: bash
phases:
  pre_build:
    commands:
      - mkdir /downloads/sonarqube <span>-p</span>
      - <span>cd</span> /downloads/sonarqube
      - wget https://binaries.sonarsource.com/Distribution/sonar-scanner-cli/sonar-scanner-cli-4.7.0.2747-linux.zip
      - unzip sonar-scanner-cli-4.7.0.2747-linux.zip
      - mv sonar-scanner-4.7.0.2747-linux /opt/sonar-scanner
      - <span>echo</span> <span>-e</span> <span>"sonar.host.url=http://lahuman.github.io:9000/ </span><span>\n</span><span>  sonar.sourceEncoding=UTF-8 </span><span>\n</span><span> sonar.qualitygate.wait=true "</span> <span>&gt;&gt;</span> /opt/sonar-scanner/conf/sonar-scanner.properties
      - <span>echo</span> <span>-e</span> <span>"#/bin/bash </span><span>\n</span><span> export PATH='</span><span>$PATH</span><span>:/opt/sonar-scanner/bin'"</span> <span>&gt;&gt;</span> /etc/profile.d/sonar-scanner.sh
      - <span>source</span> /etc/profile.d/sonar-scanner.sh
      - sonar-scanner <span>-v</span>
  build:
    commands:
      - <span>cd</span> ../..
      - <span>cd</span> /codebuild/output/src<span>*</span>/src
      - sonar-scanner <span>-Dsonar</span>.projectKey<span>=</span>Example <span>-Dsonar</span>.sources<span>=</span><span>.</span> <span>-Dsonar</span>.host.url<span>=</span>http://lahuman.github.io:9000  <span>-Dsonar</span>.login<span>=</span>sqp_017f2d65fa3rr34wesfd22369d98155fd4d493
</code></pre></div> <h3 id="4-설정-완료--저장">4. 설정 완료 &amp; 저장</h3> <p><img src="https://lahuman.github.io/assets/img/post_img/aws-codepipeline-addaction-createproject.png" alt=""></p> <p>모든 설정이 완료 되었다면, 저장 버튼을 클릭합니다.</p> <h3 id="5-pipeline-실행">5. pipeline 실행</h3> <p><img src="https://lahuman.github.io/assets/img/post_img/aws-codepipeline-done.png" alt=""></p> <h2 id="추가-tip">추가 TIP</h2> <p>코드 변경 후 다시 <code>sonar-scanner</code>을 진행하면, <code>Coverage</code>, <code>Duplications</code> 에서 실패가 발생합니다</p> <p>기본적으로 해당 문제를 해결해서 처리하는게 좋지만, 임시로 처리 하기 위해서는 아래와 같이 <code>sonar-scanner</code>에 예외 옵션을 주어야 합니다.</p> <div><pre><code><span>$ </span>sonar-scanner <span>\ </span>
  <span>-Dsonar</span>.projectKey<span>=</span>doc4sm <span>\ </span><span># project 이름</span>
  <span>-Dsonar</span>.cpd.exclusions<span>=</span><span>**</span>/<span>*</span> <span>\ </span><span># Duplications 제외 처리 </span>
  <span>-Dsonar</span>.coverage.exclusions<span>=</span><span>**</span>/<span>*</span> <span>\ </span><span># Coverage 제외 처리 </span>
  <span>-Dsonar</span>.sources<span>=</span><span>.</span> <span>\ </span><span># 분석 소스 위치</span>
  <span>-Dsonar</span>.host.url<span>=</span>http://lahuman.github.io:9000 <span>\ </span><span># host 주소</span>
  <span>-Dsonar</span>.login<span>=</span>sqp_fasdfee85ujliuod4d38fa02b2d65f964726aca5 <span># 생성한 토큰 정보 </span>
</code></pre></div> <p>전체 내용은 <a href="https://awstip.com/installing-sonarqube-on-aws-ec2-instance-and-integrating-it-with-aws-codepipeline-abec99416ba4">Installing SonarQube on AWS EC2 instance and Integrating it with AWS CodePipeline</a>를 참조해서 작성했습니다.</p> <h2 id="참고-자료">참고 자료</h2> <ul> <li><a href="https://awstip.com/installing-sonarqube-on-aws-ec2-instance-and-integrating-it-with-aws-codepipeline-abec99416ba4">Installing SonarQube on AWS EC2 instance and Integrating it with AWS CodePipeline</a></li> <li><a href="https://docs.sonarqube.org/latest/setup-and-upgrade/install-the-server/">Install the server</a></li> </ul>  </div></div>

lahuman

Daniel Lim

AWS의 Code pipline 에서 SonarQube 사용하기
SonarQube는 20개 이상의 프로그래밍 언어에서 버그, 코드 스멜, 보안 취약점을 발견할 목적으로 정적 코드 분석으로 자동 리뷰를 수행하기 위한 지속적인 코드 품질 검사용 오픈 소스 플랫폼입니다. 또한 중복 코드, 코딩 표준, 유닛 테스트, 코드 커버리지, 코드 복잡도, 주석, 버그 및 보안 취약점의 보고서를 제공합니다. wiki
설치 준비
설치하는 방식은 쉽게 Docker Image를 이용하는 방식과 Ec2에 설치하는 방식이 있습니다. 
이번 글에서는 간단하게 Ec2에 설치하는 방식으로 진행합니다.
필요 소프트웨어
JDK 11 또는 JRE 11 이상
DBMS(Options)
    
PostgreSQL 11 이상
Oracle 12C 이상
Web browser(Client)
    
Microsoft Edge
Mozilla Firefox
Google Chrome
Safari
Hardware 권장 사양
1 core 이상의 CPU
최소 3G 이상의 메모리
설치 하기
AWS Ec2가 준비 되어 있다는 전제 하에, DBMS를 제외하고 설치를 진행합니다.
1. 업데이트 & 필요 패키지 설치
$ sudo yum update -y
$ sudo yum install wget unzip -y
# file & memory update current session
$ sudo sysctl -w vm.max_map_count=524288
$ sudo sysctl -w fs.file-max=131072
$ sudo ulimit -n 131072
$ sudo ulimit -u 8192
/etc/security/limits.conf 파일을 아래와 같이 수정해 두면 서버가 재부팅이 되어서 반영 됩니다.
"account-name"   -   nofile   131072
"account-name"   -   nproc    8192
2. JDK 11 설치
open jdk 11을 설치 합니다.
$ sudo amazon-linux-extras install java-openjdk11
$ sudo yum install java-11-openjdk-devel -y
또는 실행파일을 받아서 설치 할 수 있습니다.
$ curl -O https://download.java.net/java/GA/jdk11/13/GPL/openjdk-11.0.1_linux-x64_bin.tar.gz
$ tar zxvf openjdk-11.0.1_linux-x64_bin.tar.gz
$ sudo chmod -R 755 /usr/local/jdk-11.0.1
# 이 부분은 .bashrc 에 추가 해도 됩니다. 
$ export JAVA_HOME=/usr/local/jdk-11.0.1
$ export PATH=$JAVA_HOME/bin:$PATH
3. SonarQube 설치
# 작업 디렉터리로 이동
$ cd /applications
# 9.8 버젼으로 설치 진행
$ wget https://binaries.sonarsource.com/Distribution/sonarqube/sonarqube-9.8.0.63668.zip
$ unzip sonarqube-9.8.0.63668.zip
4. SonarQube 실행
# OS 에 알맞은 실행 위치로 이동
$ cd /applications/sonarqube-9.8.0.63668/bin/linux-x86-64
# 명령어 확인
$ ./sonar.sh
/usr/local/jdk-11.0.1/bin/java
Usage: ./sonar.sh { console | start | stop | force-stop | restart | status | dump }
# 실행
$ ./sonar.sh start
5. 9000 포트 열기
기본 포트는 9000으로 해당 포트를 열고 web browser로 접근하면 됩니다.
SonarQube 연동 하기
1. 로그인
로그인 초기 ID / PW는 admin/admin 입니다.
로그인을 하면 초기 비밀번호를 변경하라고 가이드 합니다.
2. 프로젝트 생성
Manually 추가 선택
내용 입력 후 저장 하면, 프로젝트 생성이 완료 됩니다.
3. 프로젝트 설정
Locally 를 선택하고
토큰 생성 합니다.
분석하려는 언어 와 환경을 선택합니다.
아래와 같은 sonar-scanner를 이용한 분석 처리 준비가 완료 되었습니다.
$ sonar-scanner \ 
  -Dsonar.projectKey=doc4sm \ # project 이름
  -Dsonar.sources=. \ # 분석 소스 위치
  -Dsonar.host.url=http://lahuman.github.io:9000 \ # host 주소
  -Dsonar.login=sqp_fasdfee85ujliuod4d38fa02b2d65f964726aca5 # 생성한 토큰 정보 
sonarscanner 는 여서 받을 수 있습니다.
4. 프로젝트 분석 결과
sonarscanner 를 이용해서 분석을 진행하면, 아래와 같은 결과를 확인 할 수 있습니다.
AWS CodePipeline 과 연동하기
AWS CodePipeline 이 이미 존재하고, 여기에 Code-review를 추가하는 방식으로 연동 합니다.
1. CodeCommit => Pipeline => 상세 이동 후 Edit add Stage 버튼을 클릭
2. Add Action 버튼 클릭 후 알맞은 값 설정
3. Create Build Project 버튼 클릭 후 build project 설정
import build commands는 아래와 같습니다.
version: 0.2
env:
  shell: bash
phases:
  pre_build:
    commands:
      - mkdir /downloads/sonarqube -p
      - cd /downloads/sonarqube
      - wget https://binaries.sonarsource.com/Distribution/sonar-scanner-cli/sonar-scanner-cli-4.7.0.2747-linux.zip
      - unzip sonar-scanner-cli-4.7.0.2747-linux.zip
      - mv sonar-scanner-4.7.0.2747-linux /opt/sonar-scanner
      - echo -e "sonar.host.url=http://lahuman.github.io:9000/ \n  sonar.sourceEncoding=UTF-8 \n sonar.qualitygate.wait=true " >> /opt/sonar-scanner/conf/sonar-scanner.properties
      - echo -e "#/bin/bash \n export PATH='$PATH:/opt/sonar-scanner/bin'" >> /etc/profile.d/sonar-scanner.sh
      - source /etc/profile.d/sonar-scanner.sh
      - sonar-scanner -v
  build:
    commands:
      - cd ../..
      - cd /codebuild/output/src*/src
      - sonar-scanner -Dsonar.projectKey=Example -Dsonar.sources=. -Dsonar.host.url=http://lahuman.github.io:9000  -Dsonar.login=sqp_017f2d65fa3rr34wesfd22369d98155fd4d493
4. 설정 완료 & 저장
모든 설정이 완료 되었다면, 저장 버튼을 클릭합니다.
5. pipeline 실행
추가 TIP
코드 변경 후 다시 sonar-scanner을 진행하면,  Coverage, Duplications 에서 실패가 발생합니다
기본적으로 해당 문제를 해결해서 처리하는게 좋지만, 임시로 처리 하기 위해서는 아래와 같이 sonar-scanner에 예외 옵션을 주어야 합니다.
$ sonar-scanner \ 
  -Dsonar.projectKey=doc4sm \ # project 이름
  -Dsonar.cpd.exclusions=**/* \ # Duplications 제외 처리 
  -Dsonar.coverage.exclusions=**/* \ # Coverage 제외 처리 
  -Dsonar.sources=. \ # 분석 소스 위치
  -Dsonar.host.url=http://lahuman.github.io:9000 \ # host 주소
  -Dsonar.login=sqp_fasdfee85ujliuod4d38fa02b2d65f964726aca5 # 생성한 토큰 정보 
전체 내용은 Installing SonarQube on AWS EC2 instance and Integrating it with AWS CodePipeline를 참조해서 작성했습니다.
참고 자료
Installing SonarQube on AWS EC2 instance and Integrating it with AWS CodePipeline
Install the server

AWS의 CodePipeline 에서 SonarQube 사용하기

댓글