<div id="readability-page-1" class="page"><div id="post-body-6406042238177798501" itemprop="articleBody">
버전 8부터는 로그스태시에도 ECS(Elastic Common Schema)가 기본 적용된다.

<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgKKPfq4MQbX2waSlykaQWCd6__YjOG9i7Aui6UpjRSCJ9TaM8asYli2K5jyk48PUachRB4Ecxs80MbYYIkIvIVIXFypsF8aja1Bja2VN2tHMl19t-LrZ2fuJflwuj3iqLFSbcGcYXfXvy29dx21FOJdybFDQGZIaGU6IIPwCabzAKQ7IC4cRhJabxwW29J/s1280/logstash_ecs.png"><img data-original-height="661" data-original-width="1280" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgKKPfq4MQbX2waSlykaQWCd6__YjOG9i7Aui6UpjRSCJ9TaM8asYli2K5jyk48PUachRB4Ecxs80MbYYIkIvIVIXFypsF8aja1Bja2VN2tHMl19t-LrZ2fuJflwuj3iqLFSbcGcYXfXvy29dx21FOJdybFDQGZIaGU6IIPwCabzAKQ7IC4cRhJabxwW29J/s280/logstash_ecs.png" width="280"></a><a name="more"></a>다음은 기본 설정으로 데이터를 연동한 결과.
<div><pre><code>filter {&nbsp;grok {&nbsp; match =&gt; {"message" =&gt; "%{COMMONAPACHELOG}"}&nbsp;}}</code></pre></div>
<div><pre><code>[2024-01-21T13:06:04,967][INFO ][logstash.agent&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;] Pipelines running {:count=&gt;1, :running_pipelines=&gt;[:main], :non_running_pipelines=&gt;[]}{&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"url" =&gt; {&nbsp; &nbsp; &nbsp; &nbsp; "original" =&gt; "/bbs/view.php?board_id=kor%5Fmedia&amp;gul_no=1106&amp;idx=17&amp;m=4&amp;upage=25&amp;tpage=&amp;PAGE=4"&nbsp; &nbsp; },&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"event" =&gt; {&nbsp; &nbsp; &nbsp; &nbsp; "original" =&gt; "192.168.71.168 - - [12/Oct/2015:02:42:00 +0900] \"GET /bbs/view.php?board_id=kor%5Fmedia&amp;gul_no=1106&amp;idx=17&amp;m=4&amp;upage=25&amp;tpage=&amp;PAGE=4 HTTP/1.1\" 200 37727\r"&nbsp; &nbsp; },&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; "host" =&gt; {&nbsp; &nbsp; &nbsp; &nbsp; "name" =&gt; "MHKANG"&nbsp; &nbsp; },&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"log" =&gt; {&nbsp; &nbsp; &nbsp; &nbsp; "file" =&gt; {&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; "path" =&gt; "d:/test.log"&nbsp; &nbsp; &nbsp; &nbsp; }&nbsp; &nbsp; },&nbsp; &nbsp; &nbsp;"timestamp" =&gt; "12/Oct/2015:02:42:00 +0900",&nbsp; &nbsp; &nbsp; "@version" =&gt; "1",&nbsp; &nbsp; &nbsp; &nbsp;"message" =&gt; "192.168.71.168 - - [12/Oct/2015:02:42:00 +0900] \"GET /bbs/view.php?board_id=kor%5Fmedia&amp;gul_no=1106&amp;idx=17&amp;m=4&amp;upage=25&amp;tpage=&amp;PAGE=4 HTTP/1.1\" 200 37727\r",&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; "http" =&gt; {&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"version" =&gt; "1.1",&nbsp; &nbsp; &nbsp; &nbsp; "response" =&gt; {&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"body" =&gt; {&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; "bytes" =&gt; 37727&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; },&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; "status_code" =&gt; 200&nbsp; &nbsp; &nbsp; &nbsp; },&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"request" =&gt; {&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; "method" =&gt; "GET"&nbsp; &nbsp; &nbsp; &nbsp; }&nbsp; &nbsp; },&nbsp; &nbsp; "@timestamp" =&gt; 2024-01-21T04:06:05.015484800Z,&nbsp; &nbsp; &nbsp; &nbsp; "source" =&gt; {&nbsp; &nbsp; &nbsp; &nbsp; "address" =&gt; "192.168.71.168"&nbsp; &nbsp; }}</code></pre></div>

'부모-자식' 구조의 ECS 규격 필드가 추가됨을 알 수 있다. 문제는 내장된 grok 필터 정규표현식을 제외한, 사용자 커스터마이징이 적용된 데이터 전처리 과정에서는 ECS가 적용되지 않는다는 것.&nbsp;&nbsp;ECS가 데이터 성격에 맞게 통일된 필드 정의를 자동으로 해주는 건 좋은데, 아직까지는 유용한지 잘 모르겠다. 일단 데이터를 잘 모르는 상태에서 남이 만들어준 스키마는 낯설 수밖에 없고, 데이터를 잘 안다면 내가 만든 스키마가 분석하기 제일 편하니까.ECS disable<div><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiPDO6rAzHQFGrJqxhDH7OaSlM94sqjaupLpwWnjtX7T_MNG4HhA0FqlwEASdppiZ_Mt2Kb6LEezwqe26xUimc1xT7cn60S3DrF7xWNKYur-EZegME_ObHHZlDYmYuM92piDnZaAbYbtysIuD-bc2KUj6EQmwHBhjFmdWESyRL2Fz4jsUCrSz3JBsEpryu8/s1280/logstash_ecs4.png"><img data-original-height="661" data-original-width="1280" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiPDO6rAzHQFGrJqxhDH7OaSlM94sqjaupLpwWnjtX7T_MNG4HhA0FqlwEASdppiZ_Mt2Kb6LEezwqe26xUimc1xT7cn60S3DrF7xWNKYur-EZegME_ObHHZlDYmYuM92piDnZaAbYbtysIuD-bc2KUj6EQmwHBhjFmdWESyRL2Fz4jsUCrSz3JBsEpryu8/s280/logstash_ecs4.png" width="280"></a></div>
<div><pre><code>[2024-01-21T13:15:56,786][INFO ][logstash.agent&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;] Pipelines running {:count=&gt;1, :running_pipelines=&gt;[:main], :non_running_pipelines=&gt;[]}{&nbsp; &nbsp; "httpversion" =&gt; "1.1",&nbsp; &nbsp; &nbsp;"@timestamp" =&gt; 2024-01-21T04:15:56.835027700Z,&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"verb" =&gt; "GET",&nbsp; &nbsp; &nbsp; &nbsp;"response" =&gt; "200",&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"path" =&gt; "d:/test.log",&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; "ident" =&gt; "-",&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"auth" =&gt; "-",&nbsp; &nbsp; &nbsp; "timestamp" =&gt; "12/Oct/2015:02:42:00 +0900",&nbsp; &nbsp; &nbsp; &nbsp;"@version" =&gt; "1",&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;"host" =&gt; "MHKANG",&nbsp; &nbsp; &nbsp; &nbsp;"clientip" =&gt; "192.168.71.168",&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; "bytes" =&gt; "37727",&nbsp; &nbsp; &nbsp; &nbsp; "message" =&gt; "192.168.71.168 - - [12/Oct/2015:02:42:00 +0900] \"GET /bbs/view.php?board_id=kor%5Fmedia&amp;gul_no=1106&amp;idx=17&amp;m=4&amp;upage=25&amp;tpage=&amp;PAGE=4 HTTP/1.1\" 200 37727\r",&nbsp; &nbsp; &nbsp; &nbsp; "request" =&gt; "/bbs/view.php?board_id=kor%5Fmedia&amp;gul_no=1106&amp;idx=17&amp;m=4&amp;upage=25&amp;tpage=&amp;PAGE=4"}</code></pre></div>

참고로 ECS 기능을 사용하면 인덱스 대신 logs-generic-default란&nbsp;<a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/data-streams.html" target="_blank">Data stream</a>이 만들어진다.
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjCWXsjGyalyxX2Ib0KncIHUgz590i5Y7Vgowgmvby_QRjacDewgysMryigjz24Cq1c5Jao2jlQ0FPLlJ92U15Ffg-oQmY_l1FSZRL0YRAGwVFo86EK49iOQ5Awhl8y9CT2vd5QuVP-2QBUi1FvfDFJt6faDYeCqjIdATvfePLTitI3U4ztB8tOn4mdR6P2/s1274/logstash_ecs2.png"><img data-original-height="720" data-original-width="1274" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjCWXsjGyalyxX2Ib0KncIHUgz590i5Y7Vgowgmvby_QRjacDewgysMryigjz24Cq1c5Jao2jlQ0FPLlJ92U15Ffg-oQmY_l1FSZRL0YRAGwVFo86EK49iOQ5Awhl8y9CT2vd5QuVP-2QBUi1FvfDFJt6faDYeCqjIdATvfePLTitI3U4ztB8tOn4mdR6P2/s280/logstash_ecs2.png" width="280"></a>
물론 인덱스가 진짜 없는 건 아니고, 숨겨진 인덱스가 해당 Data stream에 연결됨.

<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEibG4VSh6xV5wuHIx7Y-cGooiaRvzICBkAjv5tkXA4q71Q9jd0imQQXhJR1TTwUiYHSICdZcxLBPnsansPdyug3umN2Io9xiqYsO5g0cLT2sDazP9DM_5AquVxFeW_hyphenhyphenZ8wrE89UpXXgiebrtlbB-UL7G9fDn0gQFlyhuPJN1FL03VuzsGgpqh-Kiml1tfP/s1215/logstash_ecs3.png"><img data-original-height="720" data-original-width="1215" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEibG4VSh6xV5wuHIx7Y-cGooiaRvzICBkAjv5tkXA4q71Q9jd0imQQXhJR1TTwUiYHSICdZcxLBPnsansPdyug3umN2Io9xiqYsO5g0cLT2sDazP9DM_5AquVxFeW_hyphenhyphenZ8wrE89UpXXgiebrtlbB-UL7G9fDn0gQFlyhuPJN1FL03VuzsGgpqh-Kiml1tfP/s280/logstash_ecs3.png" width="280"></a>

Data stream은 ILM(Index Lifecycle Management)에 의해 분기되는 인덱스의 읽기/쓰기 구분을 자동으로 처리해주며, 엘라스틱 스택이 아닌 (별도 개발한) 애플리케이션으로 읽기/쓰기 인덱스를 구분해야할 때&nbsp;<a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-aliases.html" target="_blank">aliases</a>&nbsp;수작업의 번거로움을 없애준다.하지만 별도 애플리케이션을 사용하지 않는다면 Data stream을 장점을 느끼기 힘들다. ILM 자동 연동 정도? 이때 Data Stream을 사용하고 싶지 않다면 역시 ECS disable. 또는 인덱스 이름 직접 지정.
관련 글<div><ul><li><a href="https://kangmyounghun.blogspot.com/2020/11/blog-post.html" target="_blank">Logstash 휴먼 버그</a></li><li><a href="https://kangmyounghun.blogspot.com/2018/04/logstash-service.html" target="_blank">Logstash 권한 문제</a></li><li><a href="https://kangmyounghun.blogspot.com/2019/01/logstash.html" target="_blank">Logstash 설정과 한글</a></li><li><a href="https://kangmyounghun.blogspot.com/2019/09/logstash.html" target="_blank">Logstash의 데이터 처리</a></li><li><a href="https://kangmyounghun.blogspot.com/2020/07/logstash.html" target="_blank">Logstash의 줄바꿈 문자</a></li><li><a href="https://kangmyounghun.blogspot.com/2019/10/logstash.html" target="_blank">윈도우 Logstash 파이프라인</a></li><li><a href="https://kangmyounghun.blogspot.com/2020/08/logstash-escaped-character.html" target="_blank">Logstash의 escaped character</a></li><li><a href="https://kangmyounghun.blogspot.com/2018/09/logstash-limit-of-total-fields.html" target="_blank">Logstash 연동 에러(Limit of total fields)</a></li></ul></div>

</div></div>

케세라세라

버전 8부터는 로그스태시에도 ECS(Elastic Common Schema)가 기본 적용된다.
다음은 기본 설정으로 데이터를 연동한 결과.
filter {
 grok {
  match => {"message" => "%{COMMONAPACHELOG}"}
 }
}
[2024-01-21T13:06:04,967][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
{
           "url" => {
        "original" => "/bbs/view.php?board_id=kor%5Fmedia&gul_no=1106&idx=17&m=4&upage=25&tpage=&PAGE=4"
    },
         "event" => {
        "original" => "192.168.71.168 - - [12/Oct/2015:02:42:00 +0900] \"GET /bbs/view.php?board_id=kor%5Fmedia&gul_no=1106&idx=17&m=4&upage=25&tpage=&PAGE=4 HTTP/1.1\" 200 37727\r"
    },
          "host" => {
        "name" => "MHKANG"
    },
           "log" => {
        "file" => {
            "path" => "d:/test.log"
        }
    },
     "timestamp" => "12/Oct/2015:02:42:00 +0900",
      "@version" => "1",
       "message" => "192.168.71.168 - - [12/Oct/2015:02:42:00 +0900] \"GET /bbs/view.php?board_id=kor%5Fmedia&gul_no=1106&idx=17&m=4&upage=25&tpage=&PAGE=4 HTTP/1.1\" 200 37727\r",
          "http" => {
         "version" => "1.1",
        "response" => {
                   "body" => {
                "bytes" => 37727
            },
            "status_code" => 200
        },
         "request" => {
            "method" => "GET"
        }
    },
    "@timestamp" => 2024-01-21T04:06:05.015484800Z,
        "source" => {
        "address" => "192.168.71.168"
    }
}
'부모-자식' 구조의 ECS 규격 필드가 추가됨을 알 수 있다. 문제는 내장된 grok 필터 정규표현식을 제외한, 사용자 커스터마이징이 적용된 데이터 전처리 과정에서는 ECS가 적용되지 않는다는 것.  
ECS가 데이터 성격에 맞게 통일된 필드 정의를 자동으로 해주는 건 좋은데, 아직까지는 유용한지 잘 모르겠다. 일단 데이터를 잘 모르는 상태에서 남이 만들어준 스키마는 낯설 수밖에 없고, 데이터를 잘 안다면 내가 만든 스키마가 분석하기 제일 편하니까.
ECS disable
[2024-01-21T13:15:56,786][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
{
    "httpversion" => "1.1",
     "@timestamp" => 2024-01-21T04:15:56.835027700Z,
           "verb" => "GET",
       "response" => "200",
           "path" => "d:/test.log",
          "ident" => "-",
           "auth" => "-",
      "timestamp" => "12/Oct/2015:02:42:00 +0900",
       "@version" => "1",
           "host" => "MHKANG",
       "clientip" => "192.168.71.168",
          "bytes" => "37727",
        "message" => "192.168.71.168 - - [12/Oct/2015:02:42:00 +0900] \"GET /bbs/view.php?board_id=kor%5Fmedia&gul_no=1106&idx=17&m=4&upage=25&tpage=&PAGE=4 HTTP/1.1\" 200 37727\r",
        "request" => "/bbs/view.php?board_id=kor%5Fmedia&gul_no=1106&idx=17&m=4&upage=25&tpage=&PAGE=4"
}
참고로 ECS 기능을 사용하면 인덱스 대신 logs-generic-default란 Data stream이 만들어진다.
물론 인덱스가 진짜 없는 건 아니고, 숨겨진 인덱스가 해당 Data stream에 연결됨.
Data stream은 ILM(Index Lifecycle Management)에 의해 분기되는 인덱스의 읽기/쓰기 구분을 자동으로 처리해주며, 엘라스틱 스택이 아닌 (별도 개발한) 애플리케이션으로 읽기/쓰기 인덱스를 구분해야할 때 aliases 수작업의 번거로움을 없애준다.
하지만 별도 애플리케이션을 사용하지 않는다면 Data stream을 장점을 느끼기 힘들다. ILM 자동 연동 정도? 이때 Data Stream을 사용하고 싶지 않다면 역시 ECS disable. 또는 인덱스 이름 직접 지정.
관련 글
Logstash 휴먼 버그
Logstash 권한 문제
Logstash 설정과 한글
Logstash의 데이터 처리
Logstash의 줄바꿈 문자
윈도우 Logstash 파이프라인
Logstash의 escaped character
Logstash 연동 에러(Limit of total fields)

Logstash와 ECS

댓글