<div id="readability-page-1" class="page"><div id="post-body-6200478345228540555" itemprop="articleBody">
<p>스플렁크는 9단계의 필드 처리 순서를 갖는데, 그중 KV_MODE 옵션을 사용하는 3단계는 key=value 구조의 데이터를 자동으로 field=value 구조로 바꿔준다.</p><p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg4xCdlnuoxcCv6Ly9u_SxXW8JoTT064X4YuJV0rgLEvaUfZId0epJpxaBl1PveV0Ih568jrVIY1Z9y4S6LAru7l1YrJ2m7yFARL3fodRndypamvk8833EviIjkwBZ_IMop2JFV7pO17iOZNTWer8QgKG3-cAbqBj5k0F6Orm8WLISr7HKfyXaqe8rx7aLB/s1024/kv_mode.png"><img data-original-height="510" data-original-width="1024" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg4xCdlnuoxcCv6Ly9u_SxXW8JoTT064X4YuJV0rgLEvaUfZId0epJpxaBl1PveV0Ih568jrVIY1Z9y4S6LAru7l1YrJ2m7yFARL3fodRndypamvk8833EviIjkwBZ_IMop2JFV7pO17iOZNTWer8QgKG3-cAbqBj5k0F6Orm8WLISr7HKfyXaqe8rx7aLB/s16000/kv_mode.png"></a></p>
<div><ul><li>
<a href="https://docs.splunk.com/Documentation/Splunk/9.4.2/Knowledge/Searchtimeoperationssequence" target="_blank">Search-time operation sequence
</a>
</li>
</ul>
</div>

<div>
<table>
<tbody>
<tr>
<th>Search-time operation order
</th>
<th>Operation name
</th>
<th>Configurable in Splunk Web?
</th>
<th>Location of file configuration
</th>
</tr>
<tr>
<td>1
</td>
<td>Inline field extraction (no field transform)
</td>
<td>Yes
</td>
<td>
<code>EXTRACT-&lt;class&gt;
</code>&nbsp;in a stanza in the&nbsp;
<a href="http://docs.splunk.com/Documentation/Splunk/9.4.2/Admin/Propsconf">props.conf
</a>&nbsp;file.
</td>
</tr>
<tr>
<td>2
</td>
<td>Field extraction that uses a field transform
</td>
<td>Yes
</td>
<td>
<code>REPORT-&lt;class&gt;
</code>&nbsp;in a stanza in the&nbsp;
<a href="http://docs.splunk.com/Documentation/Splunk/9.4.2/Admin/Propsconf">props.conf
</a>&nbsp;file.
</td>
</tr>
<tr>
<td>3
</td>
<td>Automatic key-value field extraction
</td>
<td>No
</td>
<td>In stanzas in the&nbsp;
<a href="http://docs.splunk.com/Documentation/Splunk/9.4.2/Admin/Propsconf">props.conf
</a>&nbsp;file, where&nbsp;
<code>KV_MODE
</code>&nbsp;is set to a valid value other than&nbsp;
<code>none
</code>. If no&nbsp;
<code>KV_MODE
</code>&nbsp;value is specified for a stanza, it is set to&nbsp;
<code>auto
</code>&nbsp;by default.
</td>
</tr>
<tr>
<td>4
</td>
<td>Field filters
</td>
<td>Yes
</td>
<td>
<code>fieldFilterName
</code>&nbsp;stanza in the&nbsp;
<a href="http://docs.splunk.com/Documentation/Splunk/9.4.2/Admin/Fieldfiltersconf">field_filters.conf
</a>&nbsp;file.
</td>
</tr>
<tr>
<td>5
</td>
<td>Field aliasing
</td>
<td>Yes
</td>
<td>
<code>FIELDALIAS-&lt;class&gt;
</code>&nbsp;in a stanza in the&nbsp;
<a href="http://docs.splunk.com/Documentation/Splunk/9.4.2/Admin/Propsconf">props.conf
</a>&nbsp;file.
</td>
</tr>
<tr>
<td>6
</td>
<td>Calculated fields
</td>
<td>Yes
</td>
<td>
<code>EVAL-&lt;fieldname&gt;
</code>&nbsp;in a stanza in the&nbsp;
<a href="http://docs.splunk.com/Documentation/Splunk/9.4.2/Admin/Propsconf">props.conf
</a>&nbsp;file.
</td>
</tr>
<tr>
<td>7
</td>
<td>Lookups
</td>
<td>Yes
</td>
<td>
<code>LOOKUP-&lt;class&gt;
</code>&nbsp;in a stanza in the&nbsp;
<a href="http://docs.splunk.com/Documentation/Splunk/9.4.2/Admin/Propsconf">props.conf
</a>&nbsp;file.
</td>
</tr>
<tr>
<td>8
</td>
<td>Event types
</td>
<td>Yes
</td>
<td>In a stanza in the&nbsp;
<a href="http://docs.splunk.com/Documentation/Splunk/9.4.2/Admin/Eventtypesconf">eventtypes.conf
</a>&nbsp;file.
</td>
</tr>
<tr>
<td>9
</td>
<td>Tags
</td>
<td>Yes
</td>
<td>In a stanza in the&nbsp;
<a href="http://docs.splunk.com/Documentation/Splunk/9.4.2/Admin/Tagsconf">tags.conf
</a>&nbsp;file.
</td>
</tr>
</tbody>
</table>
</div>
<p>전체 데이터가 일관된 key=value 구조라면 매우 유용한 기능. 하지만 다른 구조가 섞여 있다면 골치 아파질 수 있다. 일단 스플렁크는 props.conf와 transforms.conf를 사용하는 필드 처리 2단계에서 아파치 웹로그 전처리 작업을 진행한다.</p>



<p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiQK7DT4-gc9hAV9LjeU8DpfFZMaKmIa00ARS9vU78hF8hzFctKYGye9vrt_cEsRw0OO9uFaCvVTifKong_Z6jHxCJALDIvrVR4t8SKlJB8ys7nqBkISzySvt6swhakh3TVS4wqFS89sVUExu7xrcTKBQ5euS9QtVRZ6XztULVVjHdV99xybMDhi91X7Wln/s1280/access_combined.png"><img data-original-height="505" data-original-width="1280" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiQK7DT4-gc9hAV9LjeU8DpfFZMaKmIa00ARS9vU78hF8hzFctKYGye9vrt_cEsRw0OO9uFaCvVTifKong_Z6jHxCJALDIvrVR4t8SKlJB8ys7nqBkISzySvt6swhakh3TVS4wqFS89sVUExu7xrcTKBQ5euS9QtVRZ6XztULVVjHdV99xybMDhi91X7Wln/s16000/access_combined.png"></a></p><p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj7n5t4_OXPUKPFj7PXeUKLI9y_MGl4nJAOfkvcjbGQuQBvmp6CoRMLWUiGzsQaaukjchodctUIJxAvVsGfbtoeONLfEFNYaPkwHKksREKQjtiyC3FWOxAFB4Ky83XTeku9U4PaGgITP_iN5O8ewkVQXUzd-iB44ktYqexLYDGOTjlr9x0mexUL2AHZj-Aw/s1239/access_combined2.png"><img data-original-height="549" data-original-width="1239" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj7n5t4_OXPUKPFj7PXeUKLI9y_MGl4nJAOfkvcjbGQuQBvmp6CoRMLWUiGzsQaaukjchodctUIJxAvVsGfbtoeONLfEFNYaPkwHKksREKQjtiyC3FWOxAFB4Ky83XTeku9U4PaGgITP_iN5O8ewkVQXUzd-iB44ktYqexLYDGOTjlr9x0mexUL2AHZj-Aw/s16000/access_combined2.png"></a></p><p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrQd3FjDcj-qwk0oTRb4ibmSCTgs7w8gSZK4XL-WOfFqdZHAWZEBiDFkH4I1UgOpHs7NGxgRhedPS4fFBRZVPxXuXrnkerrkgn4Kn95VDKJ70pc4-u7QElqxr5MnV34UazH63nPWDT2yicftUTqhiq4w2m99uKsizdvr2ESsr-2-fQ-b6cykeqRWjg6Ydd/s1239/access_combined3.png"><img data-original-height="304" data-original-width="1239" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrQd3FjDcj-qwk0oTRb4ibmSCTgs7w8gSZK4XL-WOfFqdZHAWZEBiDFkH4I1UgOpHs7NGxgRhedPS4fFBRZVPxXuXrnkerrkgn4Kn95VDKJ70pc4-u7QElqxr5MnV34UazH63nPWDT2yicftUTqhiq4w2m99uKsizdvr2ESsr-2-fQ-b6cykeqRWjg6Ydd/s16000/access_combined3.png"></a></p><p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg1UjZnJv2JJ5Z4ECe9EV7xzVaIE4zAMAaVPyuF3Uzk_L6e-5y1ipol0ub_ROFZNHxK-g1cA6Oa5eeuMclMAXetyBx1lOv6aVRHdH6SDcb0oUiQWcSglo9C48BMiryu0xcSDa13ciQZOreANPFaZ0Dv2IpnYTtQnnkiGMYtBYH8jDNuKKnkyEv890DYvRL4/s1239/access_combined4.png"><img data-original-height="444" data-original-width="1239" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg1UjZnJv2JJ5Z4ECe9EV7xzVaIE4zAMAaVPyuF3Uzk_L6e-5y1ipol0ub_ROFZNHxK-g1cA6Oa5eeuMclMAXetyBx1lOv6aVRHdH6SDcb0oUiQWcSglo9C48BMiryu0xcSDa13ciQZOreANPFaZ0Dv2IpnYTtQnnkiGMYtBYH8jDNuKKnkyEv890DYvRL4/s16000/access_combined4.png"></a></p><p>url 데이터에서 경로 정보를 제거한 file 필드가 이 과정에서 만들어지는데, 순서대로면 3단계 file 필드가 2단계 file 필드를 덮어써야 한다. 그런데 2단계 필드가 없을 때만 덮어씀. 필드 이름이 같으면 높은 단계의 처리 결과가 최종 적용되는 게 정상인데, 아닐 때도 있는 듯<span>(..)</span></p><p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEifgMRzUdn5IuJqekjH_uE8rbLFPI8NZianGR21B4fB7km9hb6aSlu4oOKugF0rdVfnBkiLYS0Hdor67s7w9p0de6n_UjbY7OGV6FW8ZqeAGxAIwZNWhvKS52ThUKlUBvxgFXABs-BpoOgBMOclEeJFHNM-GnHnDpgpBlcjoEKBxYN9xzW8FboJ4fsyPgql/s1024/kv_mode2.png"><img data-original-height="459" data-original-width="1024" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEifgMRzUdn5IuJqekjH_uE8rbLFPI8NZianGR21B4fB7km9hb6aSlu4oOKugF0rdVfnBkiLYS0Hdor67s7w9p0de6n_UjbY7OGV6FW8ZqeAGxAIwZNWhvKS52ThUKlUBvxgFXABs-BpoOgBMOclEeJFHNM-GnHnDpgpBlcjoEKBxYN9xzW8FboJ4fsyPgql/s16000/kv_mode2.png"></a></p><p>웹로그 변수는 서비스 구조 등에 따라 다양한 변화가 가능하기 때문에 <span>(개발 담당자 아니면)</span> 전체 현황 파악이 어렵다. 내가 모르는 테이블 구조가 만들어지기 때문에 일관된 스키마를 유지하기 힘들고, 필드 충돌 상황이 발생할 수 있다는 얘기. 단일 구조<span>(key=value)</span>를 갖는 데이터가 아니면 KV_MODE 옵션은 쓰지 말아야겠다.</p>

</div></div>

케세라세라

스플렁크는 9단계의 필드 처리 순서를 갖는데, 그중 KV_MODE 옵션을 사용하는 3단계는 key=value 구조의 데이터를 자동으로 field=value 구조로 바꿔준다.
Search-time operation sequence

Search-time operation order
Operation name
Configurable in Splunk Web?
Location of file configuration
1
Inline field extraction (no field transform)
Yes
EXTRACT-<class>
 in a stanza in the 
props.conf
 file.
2
Field extraction that uses a field transform
Yes
REPORT-<class>
 in a stanza in the 
props.conf
 file.
3
Automatic key-value field extraction
No
In stanzas in the 
props.conf
 file, where 
KV_MODE
 is set to a valid value other than 
none
. If no 
KV_MODE
 value is specified for a stanza, it is set to 
auto
 by default.
4
Field filters
Yes
fieldFilterName
 stanza in the 
field_filters.conf
 file.
5
Field aliasing
Yes
FIELDALIAS-<class>
 in a stanza in the 
props.conf
 file.
6
Calculated fields
Yes
EVAL-<fieldname>
 in a stanza in the 
props.conf
 file.
7
Lookups
Yes
LOOKUP-<class>
 in a stanza in the 
props.conf
 file.
8
Event types
Yes
In a stanza in the 
eventtypes.conf
 file.
9
Tags
Yes
In a stanza in the 
tags.conf
 file.
전체 데이터가 일관된 key=value 구조라면 매우 유용한 기능. 하지만 다른 구조가 섞여 있다면 골치 아파질 수 있다. 일단 스플렁크는 props.conf와 transforms.conf를 사용하는 필드 처리 2단계에서 아파치 웹로그 전처리 작업을 진행한다.
url 데이터에서 경로 정보를 제거한 file 필드가 이 과정에서 만들어지는데, 순서대로면 3단계 file 필드가 2단계 file 필드를 덮어써야 한다. 그런데 2단계 필드가 없을 때만 덮어씀. 필드 이름이 같으면 높은 단계의 처리 결과가 최종 적용되는 게 정상인데, 아닐 때도 있는 듯(..)
웹로그 변수는 서비스 구조 등에 따라 다양한 변화가 가능하기 때문에 (개발 담당자 아니면) 전체 현황 파악이 어렵다. 내가 모르는 테이블 구조가 만들어지기 때문에 일관된 스키마를 유지하기 힘들고, 필드 충돌 상황이 발생할 수 있다는 얘기. 단일 구조(key=value)를 갖는 데이터가 아니면 KV_MODE 옵션은 쓰지 말아야겠다.
관련 글
Logstash 필터 kv
엘라스틱의 key-value 처리

Splunk의 필드 처리 순서

댓글