케세라세라 - mysetting

2:47 5/30

kangmyounghun.blogspot.kr

mobile screenshot relative

2:47

kangmyounghun.blogspot.kr

mobile screenshot

케세라세라
https://kangmyounghun.blogspot.kr/

Easy to analyze if you can cleaning data

저작도구: Blogger

최종 피드 수집: 2026-07-25 03:47

전체 (282)

1d

ESQL - 3rd

웹로그 발생 추이.
집계 분할 기준을 추가하니 차트가 이상해짐.
계산 간격을 좁히면 차트가 정상적으로 그려진다.
원인은 ESQL이 계산할 수 있는 기본 데이터 범위가 1,000개 이기 때문. 범위 확대.
최소 범위 제한에 걸려도

tech

002

3d

데이터 노가다 실수담 - 19th

웹로그 발생 추이.
응답코드별 분류. 두 번째 집계 분할 기준부터는 Y축을 사용한다.
그런데 grok 필터로 만든 응답코드가 아닌, 엘라스틱이 만들어준 응답코드 필드를 두 번째 집계 분할 기준으로 선택하면 분류가 되지 않는다.
파

tech

000

20d

데이터 분석이 쉬워지는 비법 - 5th

서로 다른 변수 20만 개가 발생한 웹로그.
그런데 이런 유형의 변수를 서로 다르다고 인정해줄 필요가 있을까?
나는 변수값의 변화가 아닌, 변수라는 큰 틀의 변화가 보고 싶다. 숫자 변수값 삭제.
숫자 변수값을 삭제하지 않은 필드

tech

thinking

002

23d

엘라스틱 with LLM

엘라스틱의 LLM 연동 설정.
맥락이 유지되는 질답 작업을 하려면 chat_completion 옵션이 필요하다는데, 제미나이(Google AI Studio) 설정 화면에서는 보이지 않는다.
Ollama를 써보고 싶은데, 얘는 아

tech

002

25d

Splunk with LLM - 2nd

로컬 LLM 플랫폼 Ollama 설치.
모델 설치.
1
2
3
4
5
6
7
8
9
10
11
12
13
PS C:\WINDOWS\system32> ollama pull qwen2.5-coder:7b
pulling manifest

tech

000

28d

AntigravityCLI

geminiCLI 실행이 안 된다. 서비스를 중단한 모양. Antigravity는 또 뭐여(..) 윈도우에서 geminiCLI를 사용하려면 Node.js 사전 설치가 필요했는데 얘는 필요 없는 듯. 설치 스크립트 링크 카피.
PS

tech

000

1M

데이터 노가다 실수담 - 18th

+and+ 패턴을 검사하는 정규표현식.
그런데 필드 추출 결과가 이상하다. 실제 검사 결과에 포함되지 않는 패턴이 추가됨.
원본 데이터를 보면 두 패턴은 연결되어 있지도 않다. 뭐지?
원본과 정규표현식 검사 과정을 비교해보니 원본

tech

002

1M

esql timezone - 2nd

esql이 나온지도 2년. 좀 좋아졌나 싶어 오랜만에 써봤는데, 일단 GMT 기준으로 계산되던 시간 문제는 해결된 듯.
그 외엔 변화가 없는 것 같다. 첫 번째 진입장벽은 필요한 테이블 구조를 만들 때 관련 구문을 매번 입력하는

tech

000

1M

노가다는 AI에게

요즘 자주 보이는 마케팅.
발전, 성취감 대신 지루함만 느끼기 십상이라 사람들은 대부분 단순 반복 작업을 싫어한다. AI가 해주면 땡큐지. 단순하고 반복적인 작업은 AI에게 맡기고 사람은 창의성을 발휘하자는, 너무나 이상적인 카

thinking

002

1M

TA-linux_secure - 3rd

TA-linux_secure 앱(버전 이슈인지 현재 검색은 안 됨)을 설치하면 스플렁크에 기본 내장된 linux_secure 소스타입 기능을 보강할 수 있다. 그런데 해당 앱이 만들어준 테이블 구조가 마음에 들지 않는다면?
해당

tech

000

2M

연애와 데이터 분석의 공통점

궁금하면 어떻게든 분석한다
궁금하면 데이터 노가다가 재밌어짐
관찰하는 과정에서 궁금증이 생기고, 궁금증이 생겼을 때 분석이 시작된다
비법 찾을 시간에 데이터 한 번 더 보자
차이점
ㅜㅜ
내가 좋아한 만큼 나를 좋아해준다
관련 글

thinking

0010

2M

데이터 노가다 실수담 - 17th

[로 끝나는 Z를 검사하는 PCRE 전방탐색. 사용된 ()는 둘이지만, 전방탐색은 캡쳐그룹으로 동작하지 않는다.
치환 과정에서 두 번째 캡쳐그룹이 동작하지 않는 이유.
후방탐색도 마찬가지.
VIM 치환 과정에서는 두 번째 캡쳐 그

tech

004

2M

어떻게 공부할 것인가 - 2nd

국민학교 1학년 입학했을 때 처음 배웠던 게 ㄱ, ㄴ ㄷ, ㄹ... ㅏ, ㅑ, ㅓ... 그리고 자기 이름 쓰기, 뭐 그랬던 것 같다. 요즘엔 수준이 더 높아졌겠지. 하지만 그때나 지금이나 초등 교육 커리큘럼의 기본 전제는 다르지

thinking

002

3M

Kibana Alert - 3rd

ElastAlert도 대안이 될 수 있다. pip로는 설치가 잘 되지 않아서 가상 환경을 자동으로 지원한다는 pipx로 WSL 우분투에 설치.
root@easyDATA:~# apt install pipx
root@easyDATA:

tech

001

3M

데이터 시인성 - 9th

변수 고유개수 발생 추이.
변수 고유개수의 이상치를 제거하는 outlier 적용 결과.
원본 차트와 outlier 실행 결과를 같이 보려면?
변수와 outlier 분석 대상인 고유개수 필드가 동시에 존재해야 한다.
eventsta

tech

001

3M

Splunk의 날짜 계산 - 2nd

12시간 간격 집계 결과. 데이터는 10일부터 존재하는데 시작 시간이 9일 21시? 스플렁크가 (한국보다 9시간 빠른) GMT 기준으로 시간을 계산한 결과, 10일 0시가 아닌 09시가 기준이 되면서 12시간 간격 시작 시간이 전

tech

003

3M

Splunk with LLM

AI Toolkit 앱(구 MLTK)이 LLM 연동 기능을 제공한다.
LLM 연동을 하려면 사용자에게 mltk_admin 권한(설정 > 사용자) 필요.
이후 제미나이 연동을 위해 aistudio.google.com에서 생성한 AP

tech

002

3M

Splunk 설정 변경

스플렁크 설정 작업은 웹UI를 사용하는 게 편하다. 시스템 재시작이 대부분 필요 없기 때문.
그런데 가끔 설정 파일을 직접 건드려야 할 때가 있음. 이때는 변경 설정 적용을 위해 시스템 재시작이 필수인데,
변경 설정 재적용 기능이

tech

001

4M

data with no timestamp

스플렁크는 이벤트 내에서 시간 정보를 찾고, 없으면 이벤트 파일명에서 찾는다고 한다. 그런데 파일명에도 시간 정보가 없으면?
시간 정보가 없는 2,009개의 ids 로그 연동. 첫 257개의 로그를 하나의 이벤트로 인식한다.
샘플

tech

002

4M

having query - 2nd

useragent 발생 추이.
특정 발생량 기준의 having 쿼리를 실행했는데 조회 결과가 없다.
이유는 조건 대상인 count 필드가 없기 때문.
다행히 timechart는 집계값에 대한 where 구문을 지원한다.
그런데 해

tech

001