케세라세라 - mysetting

2:47 5/30

kangmyounghun.blogspot.kr

mobile screenshot relative

2:47

kangmyounghun.blogspot.kr

mobile screenshot

케세라세라
https://kangmyounghun.blogspot.kr/

Easy to analyze if you can cleaning data

저작도구: Blogger

최종 피드 수집: 2025-08-28 22:47

전체 (238)

5d

VIM vs AWK - 2nd

강의 이해를 위해 요구되는 사전 지식들.
필수 요건으로로 못박고 싶지만 그랬다간 망할까봐 권장으로 타협. 출강 기관 측은 아예 빼자고 하는데 그러고 싶진 않다. 내 강의 정체성이기 때문.
세상 모든 데이터는 문자열
SQL이든 (엘

im thinking

tech

000

21d

엘라스틱 Runtime field - 13th

uri에서 변수를 추출하는 런타임 필드.
이때 만든 param 필드는 2차 가공을 할 수 없다. 읽기 스키마 기반으로 동작하는 런타임 필드는 스플렁크의 계산 필드처럼 검색 시점에 생성된다. paramlen 필드가 만들어지는 시점에

tech

000

22d

Elasticsearch 9.0의 변화 - 5th

단일 노드 조건에서 버전 업그레이드는 매우 간단하다. data와 config 디렉토리만 덮어쓰면 됨. 그런데 'v9.0.3 -> v9.1.0' 업그레이드 과정에서 다음 에러 발생. 'v9.0.1 -> v9.0.3' 과정에서는 문제

tech

000

26d

VIM 꼼수의 발견 - 12th

vim 명령 모드에서는 운영체제 명령어를 실행할 수 있다.
그리고 치환 모드에서는 awk를 불러올 수 있다. 월별 발생량 집계.
프로세스별 발생량 집계.
메시지별 발생량 집계.
정규표현식이 익숙치 않을 때 대안으로 쓰기엔 정규표현

tech

000

1M

VIM vs AWK

vim을 이용한 월단위 시간 정보 요약.
프로세스 발생 정보 요약.
메시지 발생 정보 요약.
데이터 이해도를 높이기 위한 탐색적 데이터 분석 과정을 진행할 때 가끔 나오는 질문이 있다.
VIM 말고 AWK 같은 거 쓰면 안 되나요

im thinking

tech

000

1M

데이터 노가다 실수담 - 12th

리눅스 secure 로그는 연도 정보를 기록하지 않는다. 다음은 filebeat의 시간 정보 파싱 프로세서.
processors:
- include_fields:
fields: "message"
- dissect

tech

000

1M

CentOS7의 Splunk - 3rd

인덱서 서비스 등록. init 서비스로 등록된다.
[root@Splunk splunk]# bin/splunk enable boot-start
Init script installed at /etc/init.d/splunk.
Init

tech

000

1M

우리 본성의 악한 천사

'우리 본성의 선한 천사', '지금 다시 계몽'으로 대중적 성공을 거둔 심리학자 스티븐 핑커 비평서.
종합하면, 앞의 17개 장은 '우리 본성의 선한 천사 '와 '지금 다시 계몽 '에 대한 최종적 비평에 다름없다. 이 비평의 전반

book

000

1M

스플렁크와 엘라스틱의 인덱싱

경로 정보가 없는 윈도우 auditlog. 검색 결과에 하이라이트 표시가 되어 있다. 스플렁크는 empty값도 인덱싱을 하나?
엘라스틱은?
검색 실패. 엘라스틱은 empty값을 인덱싱하지 않기 때문.

empty값을 검색하려면

tech

000

2M

Filebeat의 multi path

filebeat 설정.
filebeat.inputs:
- type: filestream
id: my-filestream-id
enabled: true
paths:
- d:\firewall.log
prospec

tech

000

2M

Elasticsearch 9.0의 변화 - 4th

엘라스틱은 30일 간의 유료 라이센스 체험 기능을 제공한다.
기간 지나면 만료 메시지가 뜨고, 이후엔 베이직 라이센스로 되돌리면 됨.
[2025-06-21T22:45:30,839][INFO ][o.e.x.s.a.Realms

tech

001

2M

CentOS의 Splunk - 2nd

스플렁크 RPM 설치 실패.
[root@Splunk ~]# rpm -ivh splunk-9.4.3-237ebbd22314.x86_64.rpm
error: splunk-9.4.3-237ebbd22314.x86_64.rpm: head

tech

000

2M

Splunk의 데이터 전처리 - 3rd

스플렁크는 3단계의 윈도우 이벤트 전처리 과정을 제공한다. 이중 wel-eq-kv를 제외한 나머지는 모두 정규표현식으로 동작.
wel-message
이중 wel-col-kv는 'key:value' 구조의 데이터만을 처리한다.
we

tech

000

2M

데이터 노가다 실수담 - 11th

3개의 필드로 이루어진 테이블. a가 있으면 c가 없고, c가 있으면 a가 없는 구조.
이때 a, c는 b와 연결해야 정확한 의미를 갖는다.
case 조건문으로 바꾸면 이런 식.
b만 존재하는 상태도 추가하려면?
다음 조건 로

tech

000

3M

Elasticsearch 9.0의 변화 - 3rd

On master node
클러스터 마스터 노드 설정(elasticsearch.yml).
# Enable encryption and mutual authentication between cluster nodes
xpack.secu

tech

000

3M

Elasticsearch 9.0의 변화 - 2nd

stack mornitoring 실행하니 이런 에러가 뜬다. 개체 암호화키가 필요하다고?
까라면 까야지(..) 암호화키 생성.
PS D:\ELK\kibana-9.0.1\bin> .\kibana-encryption-keys.bat

tech

001

3M

엘라스틱 Runtime field - 12th

잘 동작하는 정규표현식.
url 필드 추출.
PUT sample/_mapping
{
"runtime": {
"url": {
"type": "keyword",
"scr

tech

000

3M

Splunk의 날짜 계산

최근 30일 데이터의 주간 단위 발생 통계. '월~일요일' 단위 집계 결과를 보여준다.
4월 데이터의 주간 단위 발생 통계. '화~월요일' 단위 집계 결과.
주간 단위 집계 범위가 달라지는 이유는 선택 범위에 따라 시작일이 달라지

tech

000

3M

Splunk의 unix time

audit.log 연동. 소스타입 선택과 관계 없이 unix time을 잘 인식한다.
연동 결과. 나머지 필드 추출도 완벽.
props.conf에 필드 추출 유형이 정의되어 있지 않음에도 문제가 없는 이유는 원본 데이터가 key=

tech

0017

3M

지금 경계선에서

저자 레베카 코스타. 예전에 읽다 용두사미 결론에 실망하며 덮었던 기억이 나는데 오랫만에 다시 읽어봄.
마야, 로마 등 사라진 문명은 그 복잡도가 인간의 인지 능력 한계까지 발전했을 때 망조가 들었다는 초반부는 재미있다. 관료제하

book

0012