케세라세라 - mysetting

2:47 5/30

kangmyounghun.blogspot.kr

mobile screenshot relative

2:47

kangmyounghun.blogspot.kr

mobile screenshot

케세라세라
https://kangmyounghun.blogspot.kr/

Easy to analyze if you can cleaning data

저작도구: Blogger

최종 피드 수집: 2025-12-06 22:47

전체 (252)

18h

Kibana Alert - 2nd

로그스태시도 대안이 될 수 있다. 원하는 조건 입력 후 이메일로 출력하는 방식.
input {
elasticsearch {
hosts => "https://192.168.56.1:9200"
index => "wi

tech

000

6d

Kibana Alert

특정 조건 발생 시 경보 생성 기능은 유료다. 정확히 얘기하면 메일 발송 등 경보 발령 의미를 찾을 수 있는 기능이 유료. 일단 메일 커넥터 생성. 이때 gmail 서버 인증을 받으려면 앱 비밀번호(구글 계정 관리)를 먼저 만들어

tech

000

27d

SplunkForwarder v9 - 2nd

다수 포워더 운영 효율을 높이는 방법은 배포 서버 연동.
이후 데이터 추가 과정에서 배포 클라이언트로 연동된 포워더를 선택해주면 된다. 포워더 그룹을 의미하는 서버 클래스명 입력 필수.
다음은 데이터 추가 과정에서 생성된 서버

tech

000

1M

CentOS7의 Splunk - 4th

스플렁크 v10부터 GLIBC 버전이 낮다면서 centos7에서 실행이 되지 않는다.
1
2
3
4
5
6
7
8
9
10
11
12
13
[root@Snort ~]# rpm -ivh splunk-10.0.0-e8eb0c4654f

tech

000

1M

정규표현식: 성능 - 2nd

변수를 포함한 URI 구간에서 FILE 정보 추출.
확장자를 포함한 FILE 정보만 추출하고 싶으면,
확장자를 포함한 FILE 구조를 정규표현식에 반영. 81단계의 검사 과정 소요.
변수 정보를 제외한 URL 구간에서 추출하면 1

tech

000

1M

Splunk DB Connect - 5th

KV_MODE 사용하지 않을 때.

key="value' 구조의 원본 데이터를 테이블 구조로 만들지 못한다.
KV_MODE를 사용하면,
테이블 구조 생성 성공.
KV_MODE 기능을 생각하면 당연한 결과. 그런데 예전에 테스트 할

tech

000

1M

데이터 노가다 실수담 - 14th

URL 인코딩 패턴 디코딩.
그런데 >를 의미하는 %3E 패턴을 추가해서 script 태그를 완성하면 데이터가 사라짐.
혹시나 싶어 태그를 닫기 전에 \를 추가해봤다.
잘 됨. 공백을 추가해도 마찬가지. %3E 패턴 전에 아무 문

tech

000

1M

데이터 노가다 실수담 - 13th

3만 개에 육박하는 변수 발생 내역. 같은 변수라도 달라지는 값 때문에 복잡도가 증가한 결과.
변수값으로 사용된 숫자만 삭제해도 복잡도를 줄여 범위를 좁힐 수 있다. 내가 알고 싶은 건 전체적인 변수 변화지, 세부적인 변수값

tech

000

1M

Splunk의 sourcetype 변경

다시 인덱싱을 하지 않는 한 저장된 인덱스의 소스타입은 바꿀 수 없다.
이때 collect란 명령어를 사용해볼 수 있다. mysql의 create target_table select * from source_table과 유사. 인

tech

000

2M

Splunk의 필드 처리 순서

스플렁크는 9단계의 필드 처리 순서를 갖는데, 그중 KV_MODE 옵션을 사용하는 3단계는 key=value 구조의 데이터를 자동으로 field=value 구조로 바꿔준다.
Search-time operation sequence

tech

000

2M

logsdb 인덱스 모드

엘라스틱이 v8.17부터 logsdb 인텍스 모드라는 기능을 제공하고 있더라. 디스크 저장 용량을 절약해준다고. 인덱스 모드를 지정해줘야 해서 템플릿 사용 필수.
standard와 logsdb 인덱스 모드를 비교해봤다. 둘 다 같

tech

000

2M

opensearch-3.2.0

opensearch 윈도우 버전은 도커 이미지만 있었는데 이제 설치 버전도 제공한다. 환경변수(관리자 패스워드) 등록 및 보안 플러그인 셋업(opensearch-windows-install.bat) 과정이 좀 낯설지만 매뉴얼대로만

tech

000

2M

Logstash 필터 date - 4th

DB 데이터 연동.
[2025-09-07T11:06:48,019][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main]

tech

000

3M

정규표현식 성능을 높이려면

정규표현식 메타문자의 성능 우선순위가 있느냐는 질문을 받았다. 일단 메타문자는 검사 범위의 차이를 가지고 있을 뿐, 성능 차이는 없다. 하지만 성능 우열을 결정할 수는 있다. 기준은 내가 찾으려는 문자열의 위치.
수량자는 최대

tech

000

3M

VIM vs AWK - 2nd

강의 이해를 위해 요구되는 사전 지식들.
필수 요건으로로 못박고 싶지만 그랬다간 망할까봐 권장으로 타협. 출강 기관 측은 아예 빼자고 하는데 그러고 싶진 않다. 내 강의 정체성이기 때문.
세상 모든 데이터는 문자열
SQL이든 (엘

im thinking

tech

000

3M

엘라스틱 Runtime field - 13th

uri에서 변수를 추출하는 런타임 필드.
이때 만든 param 필드는 2차 가공을 할 수 없다. 읽기 스키마 기반으로 동작하는 런타임 필드는 스플렁크의 계산 필드처럼 검색 시점에 생성된다. paramlen 필드가 만들어지는 시점에

tech

000

4M

Elasticsearch 9.0의 변화 - 5th

단일 노드 조건에서 버전 업그레이드는 매우 간단하다. data와 config 디렉토리만 덮어쓰면 됨. 그런데 'v9.0.3 -> v9.1.0' 업그레이드 과정에서 다음 에러 발생. 'v9.0.1 -> v9.0.3' 과정에서는 문제

tech

000

4M

VIM 꼼수의 발견 - 12th

vim 명령 모드에서는 운영체제 명령어를 실행할 수 있다.
그리고 치환 모드에서는 awk를 불러올 수 있다. 월별 발생량 집계.
프로세스별 발생량 집계.
메시지별 발생량 집계.
정규표현식이 익숙치 않을 때 대안으로 쓰기엔 정규표현

tech

000

4M

VIM vs AWK

vim을 이용한 월단위 시간 정보 요약.
프로세스 발생 정보 요약.
메시지 발생 정보 요약.
데이터 이해도를 높이기 위한 탐색적 데이터 분석 과정을 진행할 때 가끔 나오는 질문이 있다.
VIM 말고 AWK 같은 거 쓰면 안 되나요

im thinking

tech

000

4M

데이터 노가다 실수담 - 12th

리눅스 secure 로그는 연도 정보를 기록하지 않는다. 다음은 filebeat의 시간 정보 파싱 프로세서.
processors:
- include_fields:
fields: "message"
- dissect

tech

000