<div id="readability-page-1" class="page"><div><p>
          🕸️ 서버 to 서버 요청 시 발생한 DNS 레이턴시
          
          </p><p>
            LG야 힘내
          </p>
          
          
        </div><div v-pre="">
            
            <ul>
<li><a href="#%EB%B0%B0%EA%B2%BD">배경</a></li>
<li><a href="#%EB%B6%84%EC%84%9D-dig-%EC%9C%BC%EB%A1%9C-%ED%85%8C%EC%8A%A4%ED%8A%B8">분석: dig 으로 테스트</a>
<ul>
<li><a href="#nameserver-8888-%EB%A1%9C-%EC%A7%80%EC%A0%95">nameserver 8.8.8.8 로 지정</a></li>
<li><a href="#nameserver%EB%8A%94-resolvconf-%EC%84%A4%EC%A0%95%EC%9D%84-%EB%94%B0%EB%A6%84">nameserver는 <code>resolv.conf</code> 설정을 따름</a></li>
<li><a href="#%EB%B9%84%EA%B5%90">비교</a></li>
</ul>
</li>
<li><a href="#%ED%95%B4%EA%B2%B0-%ED%98%B8%EC%8A%A4%ED%8A%B8-%ED%8C%8C%EC%9D%BC-%EC%88%98%EC%A0%95">해결: 호스트 파일 수정</a></li>
</ul>
<h2 id="배경">배경</h2>
<ul>
<li>약 200ms 응답 속도가 예상되는 API가 불규칙적으로 2s까지 스파이크가 발생함.
<ul>
<li>해당 API에는 서버 to 서버로 요청하는 기능이 여러 개 포함되어 있음.</li>
</ul>
</li>
<li>환경: On-Premise(IDC) 환경에 애플리케이션 서버는 컨테이너가 아닌 스탠드얼론 호스트로 실행됨.</li>
</ul>
<h2 id="분석-dig-으로-테스트">분석: dig 으로 테스트</h2>
<h2 id="nameserver-8888-로-지정">nameserver 8.8.8.8 로 지정</h2>
<div><pre tabindex="0"><code data-lang="sh">dig @8.8.8.8 api.example.com
</code></pre></div><p>첫번째 요청 292 msec</p>
<div><pre tabindex="0"><code data-lang="sh">;; Query time: <span>292</span> msec
;; SERVER: 8.8.8.8#53<span>(</span>8.8.8.8<span>)</span> <span>(</span>UDP<span>)</span>
;; WHEN: Tue Jun <span>11</span> 11:00:54 KST <span>2024</span>
;; MSG SIZE  rcvd: <span>154</span>
</code></pre></div><p>2번째 요청 36 msec</p>
<div><pre tabindex="0"><code data-lang="sh">;; Query time: <span>36</span> msec
;; SERVER: 8.8.8.8#53<span>(</span>8.8.8.8<span>)</span> <span>(</span>UDP<span>)</span>
;; WHEN: Tue Jun <span>11</span> 11:00:57 KST <span>2024</span>
;; MSG SIZE  rcvd: <span>154</span>
</code></pre></div><h2 id="nameserver는-resolvconf-설정을-따름">nameserver는 <code>resolv.conf</code> 설정을 따름</h2>
<div><pre tabindex="0"><code data-lang="sh"><span># /etc/resolv.conf</span>
<span># LG 메인 네임 서버</span>
nameserver 164.124.101.2
<span># LG 보조 네임 서버</span>
nameserver 203.248.252.2
</code></pre></div><p>첫번째 시도</p>
<div><pre tabindex="0"><code data-lang="sh">;; Query time: <span>17</span> msec
;; SERVER: 164.124.101.2#53<span>(</span>164.124.101.2<span>)</span>
;; WHEN: 화  6월 <span>11</span> 17:14:45 KST <span>2024</span>
;; MSG SIZE  rcvd: <span>154</span>
</code></pre></div><p>두번째 시도: 간헐적으로 튀는 걸 확인할 수 있었음.</p>
<div><pre tabindex="0"><code data-lang="sh">;; Query time: <span>230</span> msec
;; SERVER: 164.124.101.2#53<span>(</span>164.124.101.2<span>)</span>
;; WHEN: 화  6월 <span>11</span> 17:25:41 KST <span>2024</span>
;; MSG SIZE  rcvd: <span>154</span>
</code></pre></div><h2 id="비교">비교</h2>
<p><code>LG DNS</code>는 캐시가 되는 것 같은데 200~300 msec 응답 속도가 불규칙적으로 자주 발생함.
(현재 서버가 위치한 IDC 회선이 LG라서 LG DNS 사용)</p>
<div><pre tabindex="0"><code data-lang="sh">watch -n <span>1</span> <span>"dig @164.124.101.2 api.example.com | grep \"Query time\""</span>
<span># ;; Query time: 3 msec</span>
<span># ;; Query time: 227 msec</span>
<span># ;; Query time: 5 msec</span>
<span># ;; Query time: 5 msec</span>
<span># ;; Query time: 4 msec</span>
<span># ;; Query time: 5 msec</span>
<span># ;; Query time: 7 msec</span>
<span># ;; Query time: 228 msec</span>
<span># ;; Query time: 4 msec</span>
<span># ;; Query time: 14 msec</span>
<span># ;; Query time: 3 msec</span>
<span># ;; Query time: 5 msec</span>
<span># ;; Query time: 3 msec</span>
<span># ;; Query time: 10 msec</span>
<span># ...</span>
</code></pre></div><p><code>8.8.8.8</code> 은 더 심함.</p>
<div><pre tabindex="0"><code data-lang="sh">watch -n <span>1</span> <span>"dig @8.8.8.8 api.example.com | grep \"Query time\""</span>
<span># ;; Query time: 303 msec</span>
<span># ;; Query time: 121 msec</span>
<span># ;; Query time: 342 msec</span>
<span># ;; Query time: 49 msec</span>
<span># ;; Query time: 239 msec</span>
<span># ;; Query time: 305 msec</span>
<span># ;; Query time: 49 msec</span>
<span># ;; Query time: 239 msec</span>
<span># ;; Query time: 129 msec</span>
<span># ;; Query time: 120 msec</span>
<span># ;; Query time: 50 msec</span>
<span># ;; Query time: 39 msec</span>
<span># ;; Query time: 162 msec</span>
<span># ;; Query time: 48 msec</span>
<span># ;; Query time: 37 msec</span>
<span># ;; Query time: 37 msec</span>
<span># ;; Query time: 277 msec</span>
<span># ;; Query time: 173 msec</span>
<span># ;; Query time: 50 msec</span>
<span># ;; Query time: 334 msec</span>
<span># ...</span>
</code></pre></div><h2 id="해결-호스트-파일-수정">해결: 호스트 파일 수정</h2>
<p>server -&gt; L4 Switch -&gt; server는 프록시 없이 설정할 수 없다고 함.
실제로 호스트 파일(<code>/etc/hosts</code>)에 아래와 같이 설정하면 Connection도 얻지 못하고 타임아웃 발생함.</p>
<div><pre tabindex="0"><code data-lang="sh"><span># &lt;L4_IP_ADDRESS&gt; api.example.com</span>
</code></pre></div><p>아래와 같이 설정해서 각 노드에 있는 web server에서 서버 A, B로 로드 밸런싱 되도록 설정함.</p>
<div><pre tabindex="0"><code data-lang="sh">127.0.0.1 api.example.com
</code></pre></div><p><img src="https://markruler.github.io/images/network/image-20240611-080044.png" alt="Datadog Timeseries"></p>
<ul>
<li>처음에 서버 A(빨간색) 먼저 수정 후 응답 속도가 줄어든 것을 확인함.</li>
<li>이후 서버 B(초록색)도 수정 후 응답 속도 줄어듦.</li>
</ul>

            
            
            
            
          </div></div>

임창수 블로그

Changsu

배경 분석: dig 으로 테스트  nameserver 8.8.8.8 로 지정 nameserver는 resolv.conf 설정을 따름 비교   해결: 호스트 파일 수정  배경  약 200ms 응답 속도가 예상되는 API가 불규칙적으로 2s까지 스파이크가 발생함.  해당 API에는 서버 to 서버로 요청하는 기능이 여러 개 포함되어 있음.   환경: On-Premise(IDC) 환경에 애플리케이션 서버는 컨테이너가 아닌 스탠드얼론 호스트로 실행됨.  분석: dig 으로 테스트 nameserver 8.8.8.8 로 지정 dig @8.8.8.8 api.

🕸️ 서버 to 서버 요청 시 발생한 DNS 레이턴시

댓글