케세라세라 - mysetting

2:47 5/30

kangmyounghun.blogspot.kr

mobile screenshot relative

2:47

kangmyounghun.blogspot.kr

mobile screenshot

케세라세라
https://kangmyounghun.blogspot.kr/

Easy to analyze if you can cleaning data

저작도구: Blogger

최종 피드 수집: 2025-05-08 09:17

전체 (219)

22h

지금 경계선에서

저자 레베카 코스타. 예전에 읽다 용두사미 결론에 실망하며 덮었던 기억이 나는데 오랫만에 다시 읽어봄.
마야, 로마 등 사라진 문명은 그 복잡도가 인간의 인지 능력 한계까지 발전했을 때 망조가 들었다는 초반부는 재미있다. 관료제하

book

000

6d

Beat processors - 7th

audit.log 연동.
processors:
- include_fields:
fields: "message"
- copy_fields:
fields:
- from: message

tech

000

6d

Filebeat 9.0의 변화

audit.log 연동.
filebeat.inputs:
- type: filestream
id: my-filestream-id
enabled: true
paths:
- d:\test.log
output.conso

tech

000

10d

Logstash 필터 ruby - 8th

audit.log 연동.
filter {
mutate {
remove_field => ["@timestamp", "@version", "path", "host"]
}
kv {}
dissect {
mapping =>

tech

000

15d

LogParser의 문자열 처리

이벤트 전체 현황을 보고 싶다. 첫 번째 문장만 추출하면 되겠는데?
.을 기준으로 첫 번째 문장 추출. 그런데 .이 없는 이벤트가 있다.
첫 번째 문장 추출 조건에 : 추가. 그런데 . 기준 첫 번째 문장에서 : 존재를 확인하는

tech

000

18d

Elasticsearch 9.0의 변화

지난주에 무슨 일이 있었는지 8.18과 9.0 버전이 동시에 릴리즈됐다. 8.18 지못미 다른 건 잘 모르겠고, ESQL에 LOOKUP JOIN 기능이 추가됨. ENRICH 기능과의 차이점은 정책 생성 및 실행 과정이 필요없다는

tech

000

25d

Splunk의 Join - 5th

inner join.
left join.
교집합 제외한 left join.
full join.
교집합 제외한 full join.
관련 글
Splunk의 Join - 4th
Splunk의 Join
Splunk의 lookup
엘라스틱

tech

000

1M

데이터 노가다 실수담 - 10th

url 중 파일 정보 비교. file과 file2의 차이가 크다. file은 파일과 디렉토리를 구분하지 않고 저장하기 때문.
추이 변화는 비슷.
. 존재만을 검사하는 file2는 경로 정보를 저장할 가능성이 있다. 파일 존재만을

tech

000

1M

Logstash 필터 ruby - 7th

ruby 필터를 이용한 숫자 검사.
filter {
mutate {
remove_field => ["@timestamp", "@version", "path", "host"]
}
dissect {
mapping => {

tech

000

1M

Logstash 필터 geoip - 2nd

geoip 필터를 이용하면 위경도를 포함한 ip 주소의 다양한 지리 정보를 사용할 수 있다.
{
"message" => "122.213.34.56",
"geoip" => {
"longit

tech

000

1M

ingest pipeline - 6th

로그스태시는 조건문으로 필터의 유기적인 실행 관계를 설정할 수 있다. beat processor도 마찬가지. 다음은 데이터 조건에 따라 달라지는 로그스태시 필터.
filter {
mutate {
remove_field =>

tech

000

1M

ingest pipeline - 5th

다음은 url과 변수를 구분해서 검사하는 정규표현식.
grok processor 사용 시 에러 발생.
POST _ingest/pipeline/_simulate
{
"pipeline": {
"processors": [

tech

000

1M

엘라스틱 Runtime field - 11th

배열 데이터에 접근하는 런타임 필드 생성.
런타임 필드는 인덱싱을 하지 않기 때문에 대소문자를 구분한다.
소문자 검색 실패.
검색 시 대소문자 구분을 하고 싶지 않다면 만들 때부터 소문자로 저장해야 한다.
관련 글
엘라스틱 Run

tech

000

2M

엘라스틱의 합집합 집계

특정 프로세스 발생 통계.
집계 분할 기준에 제작사 정보를 추가하면 집계 실패. 제작사 정보가 없으니까.
이때 null값 추가 옵션을 사용하면 합집합 집계 가능.
엘라스틱이 열심히 밀어주는 Lens에서는 이렇게.
관련 글
데이터

tech

000

2M

엘라스틱 Runtime field - 10th

beat 기본 인덱스 템플릿을 사용하면 1,500여 개 필드로 구성된 인덱스가 생성된다.
이게 싫으면 별도 템플릿을 사용하면 됨.
그런데 갑자기 geo_point 타입 필드가 필요하면?
미리 계획된 템플릿을 준비하지 못했더라도 r

tech

000

2M

Beat processors - 6th

;을 구분자로 사용한 데이터 분리.
- script:
lang: javascript
source: >
function process(evt)
var str = evt.Get('message

tech

000

2M

Splunk 대시보드 - 3rd

스플렁크 대시보드 생성 시 조건 입력창은 다섯 가지인데 형태만 다를 뿐 기능은 모두 동일하다.
프로토콜 조건 입력창 추가. 프로토콜 리스트는 최근 30일 데이터에서 선택.
아직은 조건을 선택해도 차트에 적용되지 않는다.
원본 소스

tech

000

3M

나라를 위해서 일한다는 거짓말

노한동 문체부 전 서기관이 10년 공직 경험을 바탕으로 쓴 자전 에세이.
전도유망한 30대 서기관이 공직을 그만두고 책을 쓴 이유는 무엇일까? 저자는 그 이유를 '헛짓거리', '가짜 노동', '쓸데없는 일' 세 단어로 고백한다.

book

000

3M

Logstash 필터 ruby - 6th

캡쳐그룹 순서번호는 1부터 시작한다.
첫 번째 순서번호 캡쳐를 위한 ruby 필터
ruby {
code => "
event.set('result', event.get('message').match(/(.).../).captu

tech

000

3M

Logstash 필터 ruby - 5th

ruby 필터는 == 등의 비교 연산자를 지원하지 않는다. 다음은 include 메소드를 이용한 ? 검사.
ruby {
code => "
if event.get('message').include?('?')
event.s

tech

000