케세라세라 - mysetting

2:47 5/30

kangmyounghun.blogspot.kr

mobile screenshot relative

2:47

kangmyounghun.blogspot.kr

mobile screenshot

케세라세라
https://kangmyounghun.blogspot.kr/

Easy to analyze if you can cleaning data

저작도구: Blogger

최종 피드 수집: 2025-10-21 01:47

전체 (246)

2d

데이터 노가다 실수담 - 14th

URL 인코딩 패턴 디코딩.
그런데 >를 의미하는 %3E 패턴을 추가해서 script 태그를 완성하면 데이터가 사라짐.
혹시나 싶어 태그를 닫기 전에 \를 추가해봤다.
잘 됨. 공백을 추가해도 마찬가지. %3E 패턴 전에 아무 문

tech

000

3d

데이터 노가다 실수담 - 13th

3만 개에 육박하는 변수 발생 내역. 같은 변수라도 달라지는 값 때문에 복잡도가 증가한 결과.
변수값으로 사용된 숫자만 삭제해도 복잡도를 줄여 범위를 좁힐 수 있다. 내가 알고 싶은 건 전체적인 변수 변화지, 세부적인 변수값

tech

000

6d

Splunk의 sourcetype 변경

다시 인덱싱을 하지 않는 한 저장된 인덱스의 소스타입은 바꿀 수 없다.
이때 collect란 명령어를 사용해볼 수 있다. mysql의 create target_table select * from source_table과 유사. 인

tech

000

19d

Splunk의 필드 처리 순서

스플렁크는 9단계의 필드 처리 순서를 갖는데, 그중 KV_MODE 옵션을 사용하는 3단계는 key=value 구조의 데이터를 자동으로 field=value 구조로 바꿔준다.
Search-time operation sequence

tech

000

1M

logsdb 인덱스 모드

엘라스틱이 v8.17부터 logsdb 인텍스 모드라는 기능을 제공하고 있더라. 디스크 저장 용량을 절약해준다고. 인덱스 모드를 지정해줘야 해서 템플릿 사용 필수.
standard와 logsdb 인덱스 모드를 비교해봤다. 둘 다 같

tech

000

1M

opensearch-3.2.0

opensearch 윈도우 버전은 도커 이미지만 있었는데 이제 설치 버전도 제공한다. 환경변수(관리자 패스워드) 등록 및 보안 플러그인 셋업(opensearch-windows-install.bat) 과정이 좀 낯설지만 매뉴얼대로만

tech

000

1M

Logstash 필터 date - 4th

DB 데이터 연동.
[2025-09-07T11:06:48,019][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main]

tech

000

1M

정규표현식 성능을 높이려면

정규표현식 메타문자의 성능 우선순위가 있느냐는 질문을 받았다. 일단 메타문자는 검사 범위의 차이를 가지고 있을 뿐, 성능 차이는 없다. 하지만 성능 우열을 결정할 수는 있다. 기준은 내가 찾으려는 문자열의 위치.
수량자는 최대

tech

000

1M

VIM vs AWK - 2nd

강의 이해를 위해 요구되는 사전 지식들.
필수 요건으로로 못박고 싶지만 그랬다간 망할까봐 권장으로 타협. 출강 기관 측은 아예 빼자고 하는데 그러고 싶진 않다. 내 강의 정체성이기 때문.
세상 모든 데이터는 문자열
SQL이든 (엘

im thinking

tech

000

2M

엘라스틱 Runtime field - 13th

uri에서 변수를 추출하는 런타임 필드.
이때 만든 param 필드는 2차 가공을 할 수 없다. 읽기 스키마 기반으로 동작하는 런타임 필드는 스플렁크의 계산 필드처럼 검색 시점에 생성된다. paramlen 필드가 만들어지는 시점에

tech

000

2M

Elasticsearch 9.0의 변화 - 5th

단일 노드 조건에서 버전 업그레이드는 매우 간단하다. data와 config 디렉토리만 덮어쓰면 됨. 그런데 'v9.0.3 -> v9.1.0' 업그레이드 과정에서 다음 에러 발생. 'v9.0.1 -> v9.0.3' 과정에서는 문제

tech

000

2M

VIM 꼼수의 발견 - 12th

vim 명령 모드에서는 운영체제 명령어를 실행할 수 있다.
그리고 치환 모드에서는 awk를 불러올 수 있다. 월별 발생량 집계.
프로세스별 발생량 집계.
메시지별 발생량 집계.
정규표현식이 익숙치 않을 때 대안으로 쓰기엔 정규표현

tech

000

2M

VIM vs AWK

vim을 이용한 월단위 시간 정보 요약.
프로세스 발생 정보 요약.
메시지 발생 정보 요약.
데이터 이해도를 높이기 위한 탐색적 데이터 분석 과정을 진행할 때 가끔 나오는 질문이 있다.
VIM 말고 AWK 같은 거 쓰면 안 되나요

im thinking

tech

000

3M

데이터 노가다 실수담 - 12th

리눅스 secure 로그는 연도 정보를 기록하지 않는다. 다음은 filebeat의 시간 정보 파싱 프로세서.
processors:
- include_fields:
fields: "message"
- dissect

tech

000

3M

CentOS7의 Splunk - 3rd

인덱서 서비스 등록. init 서비스로 등록된다.
[root@Splunk splunk]# bin/splunk enable boot-start
Init script installed at /etc/init.d/splunk.
Init

tech

000

3M

우리 본성의 악한 천사

'우리 본성의 선한 천사', '지금 다시 계몽'으로 대중적 성공을 거둔 심리학자 스티븐 핑커 비평서.
종합하면, 앞의 17개 장은 '우리 본성의 선한 천사 '와 '지금 다시 계몽 '에 대한 최종적 비평에 다름없다. 이 비평의 전반

book

000

3M

스플렁크와 엘라스틱의 인덱싱

경로 정보가 없는 윈도우 auditlog. 검색 결과에 하이라이트 표시가 되어 있다. 스플렁크는 empty값도 인덱싱을 하나?
엘라스틱은?
검색 실패. 엘라스틱은 empty값을 인덱싱하지 않기 때문.

empty값을 검색하려면

tech

000

3M

Filebeat의 multi path

filebeat 설정.
filebeat.inputs:
- type: filestream
id: my-filestream-id
enabled: true
paths:
- d:\firewall.log
prospec

tech

000

3M

Elasticsearch 9.0의 변화 - 4th

엘라스틱은 30일 간의 유료 라이센스 체험 기능을 제공한다.
기간 지나면 만료 메시지가 뜨고, 이후엔 베이직 라이센스로 되돌리면 됨.
[2025-06-21T22:45:30,839][INFO ][o.e.x.s.a.Realms

tech

001

4M

CentOS의 Splunk - 2nd

스플렁크 RPM 설치 실패.
[root@Splunk ~]# rpm -ivh splunk-9.4.3-237ebbd22314.x86_64.rpm
error: splunk-9.4.3-237ebbd22314.x86_64.rpm: head

tech

000