/users
/posts
/slides
/apps
/books
mysetting
/users
/posts
/slides
/apps
/books
2:47 5/30
kangmyounghun.blogspot.kr
2:47
kangmyounghun.blogspot.kr
케세라세라
https://kangmyounghun.blogspot.kr/
Easy to analyze if you can cleaning data
저작도구: Blogger
최종 피드 수집: 2026-11-21 10:17
전체 (297)
2h
Splunk의 데이터 모델 가속화
데이터 천만 개 집계.
이때 tsidx(time series index) 파일에 저장된 _time 등의 메타 필드 인덱싱 정보를 활용하는 tstats를 이용하면 검색 속도 개선이 가능하다.
추가 필드 분석이 필요하면?
데이터 모델
tech
+ 더보기
0
0
0
읽기모드
1d
Splunk의 Join - 6th
같은 pid를 갖는, 서로 다른 시점의 sshd 로그인 성공 내역.
같은 pid 조건으로 조인을 시도하면 12일 IP 정보가 바뀐다.
이유는 시간 기준, 내림차순 정렬된 검색 결과에서 pid 조건으로만 조인이 이루어지면서, 2개의
tech
+ 더보기
0
0
0
읽기모드
15d
ingest pipeline - 7th
sysmon 이벤트 22는 DNS 조회 및 응답 정보를 기록한다.
그리고 엘라스틱은 응답 정보 중 IP 정보(CNAME이 아닌 A레코드)만을 별도 필드로 추출해준다.
IP 정보의 활용도를 넓히는 방법은 지리 정보 매핑.
IP 정보
tech
+ 더보기
0
0
0
읽기모드
28d
Splunk의 sourcetype 변경 - 2nd
collect 명령 사용 시 소스타입 옵션은 필드 추출 작업에 관여하지 않는다. 하는 일이 뭐야?
원본 인덱스와 동일한 테이블 구조를 유지하려면 output_format=hec 옵션을 사용해야 함.
참고로 'output_forma
tech
+ 더보기
0
0
1
읽기모드
1M
엘라스틱 Anomaly Detection Job
엘라스틱이 데이터 성격별로 알아서 이상징후를 분석해주는 ML 작업 기능을 제공한다. ECS와 호환되는 테이블 구조일 때만 ML 작업 선택 가능. 다음은 winlogbeat로 윈도우 이벤트 연동 시 선택 가능한 ML 작업 내역.
tech
+ 더보기
0
0
2
읽기모드
1M
데이터 곤조
데이터는 쉽사리 곁을 내주지 않는다. 지저분한 데이터 정리 작업 시작.
엑셀 데이터 필터 기능으로 작업 결과 검증.
한 번으로 끝나는 일은 거의 없다. 2단계.
쓰레기가 줄어드는 게 보이니 기운이 난다(..) 3단계.
4단계에 걸
thinking
+ 더보기
0
0
2
읽기모드
1M
Logstash 필터 xml - 2nd
xml 필터는 xml 코드만을 인식한다.
filter {
mutate {
remove_field => ["@timestamp", "@version", "path", "host"]
}
xml {
force_ar
tech
+ 더보기
0
0
4
읽기모드
2M
Splunk의 xml 처리 - 2nd
makeresults를 이용한 xml 테스트 환경. csv 포맷이라 ,를 기준으로 데이터가 잘린다.
eval 명령으로 변경. 그런데 데이터 추가 실패. xml에 포함된 "와 필드 데이터 구분자인 "가 충돌하기 때문.
xml에 포함
tech
+ 더보기
0
0
5
읽기모드
2M
엘라스틱 Runtime field - 15th
로그스태시는 문자열 필드를 text(검색용)와 keyword(집계용) 타입으로 나누는데, 이때 집계용 필드 이름에 keyword(fieldname.keyword)를 붙여서 text 타입과 구분한다. beat도 타입별 역할은 같은데
tech
+ 더보기
0
0
2
읽기모드
2M
ESQL - 4th
오늘 새롭게 발생한 프로세스 검색.
MySQL 5.7 버전 이하는 이렇게.
또는 Logparser처럼.
스플렁크는 이렇게.
이제 엘라스틱도 된다.
다른 분야는 모르겠지만 IT 환경에서 모든 데이터 분석의 시작은 결국 SQL. 근본
tech
+ 더보기
0
0
4
읽기모드
2M
정규표현식: 문자클래스 범위
버전 정보를 제외한 문자열만 추출하고 싶다. 특수문자 / 제외.
제외할 문자 범위에 - 추가.
그런데 _를 추가하니 검사 결과가 이상하다.
이유는 -가 /와 _ 사이의 문자 범위를 지정하는 특수문자로 동작하기 때문.
맨 끝(또는
tech
+ 더보기
0
0
1
읽기모드
3M
데이터 시인성 - 10th
데이터 발생 확률을 측정해주는 anomalousvalue 실행 결과. 값이 0에 가까울수록 발생 확률이 낮다는 의미이기 때문에 그만큼 이상징후일 가능성이 높다.
문제는 값이 0에 가까울수록 눈으로 확인하기 어려운 차트가 그려진다는
tech
+ 더보기
0
0
1
읽기모드
3M
Logstash 권한 - 3rd
간만에 로그스태시. root 실행을 아예 막아놨네? path.settings 옵션 없으면 logstasy.yml도 찾지 못하고(..)
logstash 계정 실행은 문제 없다.
그런데 root 계정 실행을 먼저 해버리면 이후 log
tech
+ 더보기
0
0
6
읽기모드
3M
엘라스틱 Runtime field - 14th
특정 필드의 해시값(fingerprint)을 구한 후, 숫자(hexnum)로 바꾸는 beat 설정. 기본 해시 알고리즘은 256bit(64자리) 해시값을 만드는 sha256.
processors:
- include_fields
tech
+ 더보기
0
0
7
읽기모드
3M
LogParser의 문자열 처리 - 2nd
로그온 사용자, 유형별 발생 현황.
사용자와 로그온 유형 정보를 합치고 싶다.
좀 더 보기 좋게 구분.
이런 경험들이 쌓이고 모이면 엘라스틱도,
스플렁크도 쉬워진다.
빅데이터/인공지능이 유행하기 전부터 로그를 한 줄, 한 줄 읽어
tech
+ 더보기
0
0
1
읽기모드
3M
ESQL - 3rd
웹로그 발생 추이.
집계 분할 기준을 추가하니 차트가 이상해짐.
계산 간격을 좁히면 차트가 정상적으로 그려진다.
원인은 ESQL이 계산할 수 있는 기본 데이터 범위가 1,000개 이기 때문. 범위 확대.
최소 범위 제한에 걸려도
tech
+ 더보기
0
0
2
읽기모드
4M
데이터 노가다 실수담 - 19th
웹로그 발생 추이.
응답코드별 분류. 두 번째 집계 분할 기준부터는 Y축을 사용한다.
그런데 grok 필터로 만든 응답코드가 아닌, 엘라스틱이 만들어준 응답코드 필드를 두 번째 집계 분할 기준으로 선택하면 분류가 되지 않는다.
파
tech
+ 더보기
0
0
1
읽기모드
4M
데이터 분석이 쉬워지는 비법 - 5th
서로 다른 변수 20만 개가 발생한 웹로그.
그런데 이런 유형의 변수를 서로 다르다고 인정해줄 필요가 있을까?
나는 변수값의 변화가 아닌, 변수라는 큰 틀의 변화가 보고 싶다. 숫자 변수값 삭제.
숫자 변수값을 삭제하지 않은 필드
tech
thinking
+ 더보기
0
0
4
읽기모드
4M
엘라스틱 with LLM
엘라스틱의 LLM 연동 설정.
맥락이 유지되는 질답 작업을 하려면 chat_completion 옵션이 필요하다는데, 제미나이(Google AI Studio) 설정 화면에서는 보이지 않는다.
Ollama를 써보고 싶은데, 얘는 아
tech
+ 더보기
0
0
2
읽기모드
4M
Splunk with LLM - 2nd
로컬 LLM 플랫폼 Ollama 설치.
모델 설치.
1
2
3
4
5
6
7
8
9
10
11
12
13
PS C:\WINDOWS\system32> ollama pull qwen2.5-coder:7b
pulling manifest
tech
+ 더보기
0
0
0
읽기모드
About
Badge
Contact
Activity
Terms of service
Privacy Policy