<div id="readability-page-1" class="page"><div id="post-body-2761377787859736512" itemprop="articleBody">

<a href="https://blogger.googleusercontent.com/img/a/AVvXsEh0AKKQVI4vFeHdtDqZ2Cdt9gBFu_9P_n144kf2diDdSH56funEvJXvxa7SzNTp1FCEwdNqglMYBHoKAk1ER5JS5GkdB5XheJcdm50H_xHOdMR5EuwrI2p2ujLMcV8Cy42D50ui3HK3DlGtDwCrTVZoV1XR5_FEVIy96uKp0u-1Gd7a2MPnVGprIGaY6w=s633"><img data-original-height="265" data-original-width="633" src="https://blogger.googleusercontent.com/img/a/AVvXsEh0AKKQVI4vFeHdtDqZ2Cdt9gBFu_9P_n144kf2diDdSH56funEvJXvxa7SzNTp1FCEwdNqglMYBHoKAk1ER5JS5GkdB5XheJcdm50H_xHOdMR5EuwrI2p2ujLMcV8Cy42D50ui3HK3DlGtDwCrTVZoV1XR5_FEVIy96uKp0u-1Gd7a2MPnVGprIGaY6w=s500" width="280"></a>

그래서 줄바꿈 문자가 없으면 데이터를 가져오지 못함.
<pre><code><div>[2024-03-10T10:08:49,593][INFO ][logstash.agent&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;] Pipelines running {:count=&gt;1, :running_pipelines=&gt;[:main], :non_running_pipelines=&gt;[]}{&nbsp; &nbsp; "message" =&gt; "1\r"}{&nbsp; &nbsp; "message" =&gt; "2\r"}</div></code></pre>
이때 이벤트 구분자를 없애면,
<pre><code><div>input {&nbsp;file {&nbsp; path =&gt; "d:/notepad.txt"&nbsp; start_position =&gt; "beginning"&nbsp; sincedb_path =&gt; "nul"&nbsp; delimiter =&gt; ""&nbsp;}}</div></code></pre>
유실 없이 잘 가져온다. 이벤트 구분도 잘 되고. 그런데 줄바꿈 문자까지 데이터로 인식해서 가져옴(..)
<pre><code><div>[2024-03-10T10:09:16,435][INFO ][logstash.agent&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;] Pipelines running {:count=&gt;1, :running_pipelines=&gt;[:main], :non_running_pipelines=&gt;[]}{&nbsp; &nbsp; "message" =&gt; "1"}{&nbsp; &nbsp; "message" =&gt; "\r"}{&nbsp; &nbsp; "message" =&gt; "\n"}{&nbsp; &nbsp; "message" =&gt; "2"}{&nbsp; &nbsp; "message" =&gt; "\r"}{&nbsp; &nbsp; "message" =&gt; "\n"}{&nbsp; &nbsp; "message" =&gt; "3"}</div></code></pre>
줄바꿈 문자 삭제.
<pre><code><div>filter {&nbsp;mutate {&nbsp; remove_field =&gt; ["@timestamp", "@version", "host", "path"]&nbsp;}&nbsp;if [message] =~ "\r|\n" {&nbsp; drop {}&nbsp;}}</div></code></pre>
<pre><code><div>[2024-03-10T10:09:46,465][INFO ][logstash.agent&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;] Pipelines running {:count=&gt;1, :running_pipelines=&gt;[:main], :non_running_pipelines=&gt;[]}{&nbsp; &nbsp; "message" =&gt; "1"}{&nbsp; &nbsp; "message" =&gt; "2"}{&nbsp; &nbsp; "message" =&gt; "3"}</div></code></pre>
특이한 건 delimiter 옵션을 직접 지정해주면 데이터를 읽지 못한다.
<pre><code><div>input {&nbsp;file {&nbsp; path =&gt; "d:/notepad.txt"&nbsp; start_position =&gt; "beginning"&nbsp; sincedb_path =&gt; "nul"&nbsp; delimiter =&gt; "\n"&nbsp;}}</div></code></pre>
왜죠?관련 글<div>
<ul><li><a href="https://kangmyounghun.blogspot.com/2021/12/logstash-2nd.html" target="">Logstash의 줄바꿈 문자 - 2nd</a></li><li><a href="https://kangmyounghun.blogspot.com/2020/07/logstash.html">Logstash의 줄바꿈 문자</a></li><li><a href="https://kangmyounghun.blogspot.com/2020/08/logstash-escaped-character.html" target="">Logstash의 escaped character</a></li></ul>
</div>

</div></div>

케세라세라

input 플러그인 file은 줄바꿈 문자로 이벤트 단위를 구분한다.
그래서 줄바꿈 문자가 없으면 데이터를 가져오지 못함.
[2024-03-10T10:08:49,593][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
{
    "message" => "1\r"
}
{
    "message" => "2\r"
}
이때 이벤트 구분자를 없애면,
input {
 file {
  path => "d:/notepad.txt"
  start_position => "beginning"
  sincedb_path => "nul"
  delimiter => ""
 }
}
유실 없이 잘 가져온다. 이벤트 구분도 잘 되고. 그런데 줄바꿈 문자까지 데이터로 인식해서 가져옴(..)
[2024-03-10T10:09:16,435][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
{
    "message" => "1"
}
{
    "message" => "\r"
}
{
    "message" => "\n"
}
{
    "message" => "2"
}
{
    "message" => "\r"
}
{
    "message" => "\n"
}
{
    "message" => "3"
}
줄바꿈 문자 삭제.
filter {
 mutate {
  remove_field => ["@timestamp", "@version", "host", "path"]
 }
 if [message] =~ "\r|\n" {
  drop {}
 }
}
[2024-03-10T10:09:46,465][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
{
    "message" => "1"
}
{
    "message" => "2"
}
{
    "message" => "3"
}
특이한 건 delimiter 옵션을 직접 지정해주면 데이터를 읽지 못한다.
input {
 file {
  path => "d:/notepad.txt"
  start_position => "beginning"
  sincedb_path => "nul"
  delimiter => "\n"
 }
}
왜죠?
관련 글
Logstash의 줄바꿈 문자 - 2nd
Logstash의 줄바꿈 문자
Logstash의 escaped character

Logstash의 줄바꿈 문자 - 3rd

댓글