<div id="readability-page-1" class="page"><article>
    <div>

                
                <div>
                    <details open="">
                        <summary accesskey="c" title="(Alt + C)">
                            <p>Table of Contents</p>
                        </summary>
                        <nav id="TableOfContents">
  <ul>
    <li>
      <ul>
        <li><a href="#서버-구성">서버 구성</a></li>
        <li><a href="#filebeat">filebeat</a></li>
        <li><a href="#logstash">logstash</a></li>
      </ul>
    </li>
  </ul>
</nav>
                    </details>
                </div>
                
                <p>Elasticsearch의 버전업을 지원하기 위해서 logstash 와 filebeat를 새롭게 설치하고 설정해보았다. 진행한 작업 내용을 정리 해보았다.</p>
<h2 id="서버-구성">서버 구성</h2>
<p>먼저 서버 구성은 다음과 같다.</p>
<ul>
<li>ElasticSearch 클러스터가 별도로 존재</li>
<li>LogStash 1대</li>
<li>다수의 웹서버에 각각 Filebeat 를 설치.</li>
</ul>
<figure>
    <img src="https://findstar.pe.kr/images/posts/elastic/system_stack.png" alt="시스템 구성도">
    
</figure>

<h3 id="filebeat-설치">filebeat 설치</h3>
<ol>
<li>
<p>filebeat 를 yum을 통해서 설치</p>
<pre><code>sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
</code></pre></li>
<li>
<p>/etc/yum.repods.d/elastic.repo 추가</p>
<pre><code>[elastic-6.x]
name=Elastic repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
</code></pre></li>
<li>
<p>yum 을 통해서 설치</p>
<pre><code>yum install filebeat
</code></pre></li>
</ol>
<h3 id="filebeat-설정">filebeat 설정</h3>
<p>filebeat 에서는 json 형태로 logstash 에게 데이터를 전달하고, 이때 <code>message</code> 필드에 수집한 로그 파일의 데이터가 담겨진다.
수집하려는 log file 의 유형에 따라서 <a href="https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html">community beats</a>를 사용할 수도 있지만,
나의 경우에는 Custom pattern의 로그 파일을 수집할 예정이라 logstash에서 pasring 하는 형태를 선택했다. (직접 beat를 만들 수도 있다.<a href="https://www.elastic.co/blog/build-your-own-beat">링크</a>, 언어는 golang.)</p>
<ol>
<li><code>/etc/filebeat/filebeat.yml</code> 파일 변경</li>
</ol>
<pre><code>
filebeat.prospectors:

# Each - is a prospector. Most options can be set at the prospector level, so
# you can use different prospectors for various configurations.
# Below are the prospector specific configurations.

- type: log
  enabled: true
  paths:
    - /var/log/my_log_path/*.log
  fields:
    index_name: "my_custom_file_index_name"

#----------Elasticsearch output--------------- 주석처리
# (beats 에서 바로 ES 로 데이터 전달하지 않음)


#----------Logstash output ------------------- 주석해제
# (beats 에서 logstash 로 데이터 전달)

output.logstash:
  # The Logstash hosts
  hosts: ["my-logstash-server-host:5044"]

...
</code>
</pre>
<ul>
<li>수집할 log를 정의하고 <code>fields</code> 를 추가하였다. 추가한 <code>fields</code>는 logstash에 변수로 전달된다. 필요한 경우 여러개를 추가 할 수 있다.</li>
</ul>
<h3 id="filebeat-실행">filebeat 실행</h3>
<pre><code>service filebeat start
</code></pre><h3 id="filebeat-데몬-로그-확인">filebeat 데몬 로그 확인</h3>
<pre><code>tail -f /var/log/filebeat/filebeat
</code></pre><h3 id="filebeat-에서-file-을-다시-읽어-들어야-하는-경우">filebeat 에서 file 을 다시 읽어 들어야 하는 경우</h3>
<ul>
<li>
<p>filebeat 는 파일을 어디까지 읽어 들였는지 메타 정보를 <code>/var/lib/filebeat/registry</code> 파일에 기록하고 있다.</p>
</li>
<li>
<p>따라서 이 메타 정보를 강제로 reset 하려면 다음과 같이 하면 된다. (경험적으로 설치가 잘 되었는지 확인될 때까지는 메타 정보를 여러번 reset 해야했다.)</p>
</li>
</ul>
<pre><code>echo "[]" &gt; /var/lib/filebeat/registry
</code></pre><h2 id="logstash">logstash</h2>
<h3 id="logstash-설치">logstash 설치</h3>
<ul>
<li>logstash 는 Java 가 준비된 환경에서 <a href="https://www.elastic.co/downloads/logstash">Download Link</a>에서 다운받아서 설치했다.</li>
</ul>
<h3 id="logstash-plugin-설치">logstash plugin 설치</h3>
<ul>
<li>사용할 필터중에서 bundle 로 제공되지 않는 alter 설치</li>
</ul>
<pre><code>bin/logstash-plugin install logstash-filter-alter
Validating logstash-filter-alter
Installing logstash-filter-alter
Installation successful
</code></pre><h3 id="logstash-에-filter-설정">logstash 에 filter 설정</h3>
<ul>
<li>
<p>grok, mutate, json, geoip, alter 필터를 설정했고 filebeat 에서 fields 로 넘겨받은 index_name을 사용했다.</p>
</li>
<li>
<p>date 필터는 기준 시각을 filebeat 에 의해서 파싱된 시각을 사용하지 않고, log 에 기록된 시각으로 지정하도록 한다.</p>
<div><pre><code data-lang="io">    input <span>{</span>
      beats <span>{</span>
        port <span>=&gt;</span> <span>"5044"</span>
      <span>}</span>
    <span>}</span>
    filter <span>{</span>
      grok <span>{</span>
        match <span>=&gt;</span> <span>{</span> <span>"message"</span> <span>=&gt;</span> <span>"%{TIMESTAMP_ISO8601:time}\t%{DATA:tag}\t{ % {DATA:data} }"</span> <span>}</span>
      <span>}</span>
      mutate <span>{</span>
        add_field <span>=&gt;</span> <span>{</span> <span>"json_data"</span> <span>=&gt;</span> <span>"{ %{data}}"</span> <span>}</span>
      <span>}</span>
      json <span>{</span>
        source <span>=&gt;</span> <span>"json_data"</span>
      <span>}</span>
      <span>if</span> <span>[</span>fields<span>][</span>index_name<span>]</span> <span>==</span> <span>"qna5"</span> <span>{</span>
        geoip <span>{</span>
          source <span>=&gt;</span> <span>"remote_addr"</span>
        <span>}</span>
      <span>}</span>
      alter <span>{</span>
          remove_field <span>=&gt;</span> <span>[</span> <span>"data"</span><span>,</span> <span>"json_data"</span> <span>]</span>
      <span>}</span>
      date <span>{</span>
        match <span>=&gt;</span> <span>[</span> <span>"time"</span><span>,</span> <span>"yyyy-MM-dd'T'HH:mm:ssZZ"</span> <span>]</span>
      <span>}</span>
    <span>}</span>
    output <span>{</span>
      elasticsearch <span>{</span>
        hosts <span>=&gt;</span> <span>"my-elastcisearch-server-host:9200"</span>
        index <span>=&gt;</span> <span>"%{[fields][index_name]}-%{+YYYY.MM.dd}"</span>
        document_type <span>=&gt;</span> <span>"%{[fields][index_name]}"</span>
      <span>}</span>
    <span>}</span>
    <span># debug 를 위해서는 아래의 출력으로 조정.
</span><span></span>    <span>#output {
</span><span></span>    <span>#  stdout { codec =&gt; json }
</span><span></span>    <span>#}
</span><span></span>    </code></pre></div>
</li>
</ul>
<h3 id="logstash-실행">logstash 실행</h3>
<pre><code>nohup logstash/bin/logstash -f logstash.conf &gt; /var/log/logstash/logstash.out
</code></pre><h3 id="elasticsearch-확인">elasticsearch 확인</h3>
<ul>
<li>인덱스와 데이터가 제대로 들어오는지 확인하면 된다.</li>
</ul>
<h3 id="참고">참고</h3>
<ul>
<li><a href="https://www.elastic.co/guide/en/beats/filebeat/current/setup-repositories.html">https://www.elastic.co/guide/en/beats/filebeat/current/setup-repositories.html</a></li>
<li><a href="http://yongho1037.tistory.com/709">http://yongho1037.tistory.com/709</a></li>
<li><a href="http://dgkim5360.tistory.com/entry/managing-multiple-heterogeneous-inputs-on-filebeat-and-logstash">http://dgkim5360.tistory.com/entry/managing-multiple-heterogeneous-inputs-on-filebeat-and-logstash</a></li>
<li><a href="http://blog.plura.io/?p=3363">http://blog.plura.io/?p=3363</a></li>
<li><a href="https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html#_literal_tags_literal">https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html#_literal_tags_literal</a></li>
<li><a href="https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns">https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns</a> (grok 패턴 모음)</li>
<li><a href="https://grokdebug.herokuapp.com/">https://grokdebug.herokuapp.com/</a> (grok 패턴 사용시 테스트)</li>
<li><a href="https://www.elastic.co/blog/geoip-in-the-elastic-stack">https://www.elastic.co/blog/geoip-in-the-elastic-stack</a> (geoip 사용)</li>
</ul>

                

                <hr>
                

                





<p><a href="https://disqus.com/">comments powered by </a>



            </p></div>
</article></div>

Soo Story

Jung-Soo Ahn

Elasticsearch의 버전업을 지원하기 위해서 logstash 와 filebeat를 새롭게 설치하고 설정해보았다. 진행한 작업 내용을 정리 해보았다.

logstash와 filebeat 설정하기

댓글