케세라세라 - mysetting

2:47 5/30

kangmyounghun.blogspot.kr

mobile screenshot relative

2:47

kangmyounghun.blogspot.kr

mobile screenshot

케세라세라
https://kangmyounghun.blogspot.kr/

Easy to analyze if you can cleaning data

저작도구: Blogger

최종 피드 수집: 2026-02-04 07:48

전체 (258)

3d

데이터 노가다 실수담 - 16th

mysql 저장을 위한 csv 데이터.

그런데 임포트 과정에서 clientip 필드에 문제가 있다는 경고 발생.

확인해보니 23개 레코드에서 해당 필드 저장에 실패했다.

c

tech

000

4d

Mysql 설치 오류 - 2nd

윈도우11에서 8.0 버전 설치가 안 된다. 정확히 얘기하면 세부 설정(Run MySQL Configurator) 옵션이 보이지 않는다.
9.6 버전 설치 후 인증 방식 변경 시도. 8.0 버전부터 기본 인증 방식이 caching

tech

000

13d

데이터 노가다 실수담 - 15th

IIS 웹로그는 모든 필드를 '공백'으로 구분하기 때문에 원활한 필드 분류를 위해 필드값에 포함된 공백을 + 기호로 대체한다.
가독성을 높이기 위해 +를 공백으로 치환하는 계산 필드 정책 추가.
+가 공백으로 바뀐 agent 필드

tech

000

24d

Splunk의 xml 처리

xml 포맷을 갖는 sysmon 이벤트 로그. 가장 중요한 EventData 계층은 동일한 Data 자식 계층이 반복되는 중첩 구조를 가지고 있다.
<Event>
<System>
<Provider Name="Linux-Sy

tech

001

29d

Logstash 필터 xml

filebeat의 xml 데이터 처리. 깔끔.
processors:
- include_fields:
fields: "message"
- decode_xml:
field: message
tar

tech

000

1M

2025년에 있었던 일

벌써 또 일 년. 제법 바쁘게 지낸 거 같은데 생각나는 건 엘라스틱 라이센스 이슈 뿐이다. 몇 개월 전 엘라스틱측 클레임이 들어왔다는 출강 기관의 SOS를 받은 것. 요지는
누구 허락 받고 엘라스틱 교육 하느냐
현대차로 운전연수

im thinking

000

1M

Kibana Alert - 2nd

로그스태시도 대안이 될 수 있다. 원하는 조건 입력 후 이메일로 출력하는 방식.
input {
elasticsearch {
hosts => "https://192.168.56.1:9200"
index => "wi

tech

000

2M

Kibana Alert

특정 조건 발생 시 경보 생성 기능은 유료다. 정확히 얘기하면 메일 발송 등 경보 발령 의미를 찾을 수 있는 기능이 유료. 일단 메일 커넥터 생성. 이때 gmail 서버 인증을 받으려면 앱 비밀번호(구글 계정 관리)를 먼저 만들어

tech

000

2M

SplunkForwarder v9 - 2nd

다수 포워더 운영 효율을 높이는 방법은 배포 서버 연동.
이후 데이터 추가 과정에서 배포 클라이언트로 연동된 포워더를 선택해주면 된다. 포워더 그룹을 의미하는 서버 클래스명 입력 필수.
다음은 데이터 추가 과정에서 생성된 서버

tech

000

3M

CentOS7의 Splunk - 4th

스플렁크 v10부터 GLIBC 버전이 낮다면서 centos7에서 실행이 되지 않는다.
1
2
3
4
5
6
7
8
9
10
11
12
13
[root@Snort ~]# rpm -ivh splunk-10.0.0-e8eb0c4654f

tech

000

3M

정규표현식: 성능 - 2nd

변수를 포함한 URI 구간에서 FILE 정보 추출.
확장자를 포함한 FILE 정보만 추출하고 싶으면,
확장자를 포함한 FILE 구조를 정규표현식에 반영. 81단계의 검사 과정 소요.
변수 정보를 제외한 URL 구간에서 추출하면 1

tech

000

3M

Splunk DB Connect - 5th

KV_MODE 사용하지 않을 때.

key="value' 구조의 원본 데이터를 테이블 구조로 만들지 못한다.
KV_MODE를 사용하면,
테이블 구조 생성 성공.
KV_MODE 기능을 생각하면 당연한 결과. 그런데 예전에 테스트 할

tech

000

3M

데이터 노가다 실수담 - 14th

URL 인코딩 패턴 디코딩.
그런데 >를 의미하는 %3E 패턴을 추가해서 script 태그를 완성하면 데이터가 사라짐.
혹시나 싶어 태그를 닫기 전에 \를 추가해봤다.
잘 됨. 공백을 추가해도 마찬가지. %3E 패턴 전에 아무 문

tech

000

3M

데이터 노가다 실수담 - 13th

3만 개에 육박하는 변수 발생 내역. 같은 변수라도 달라지는 값 때문에 복잡도가 증가한 결과.
변수값으로 사용된 숫자만 삭제해도 복잡도를 줄여 범위를 좁힐 수 있다. 내가 알고 싶은 건 전체적인 변수 변화지, 세부적인 변수값

tech

000

3M

Splunk의 sourcetype 변경

다시 인덱싱을 하지 않는 한 저장된 인덱스의 소스타입은 바꿀 수 없다.
이때 collect란 명령어를 사용해볼 수 있다. mysql의 create target_table select * from source_table과 유사. 인

tech

000

4M

Splunk의 필드 처리 순서

스플렁크는 9단계의 필드 처리 순서를 갖는데, 그중 KV_MODE 옵션을 사용하는 3단계는 key=value 구조의 데이터를 자동으로 field=value 구조로 바꿔준다.
Search-time operation sequence

tech

000

4M

logsdb 인덱스 모드

엘라스틱이 v8.17부터 logsdb 인텍스 모드라는 기능을 제공하고 있더라. 디스크 저장 용량을 절약해준다고. 인덱스 모드를 지정해줘야 해서 템플릿 사용 필수.
standard와 logsdb 인덱스 모드를 비교해봤다. 둘 다 같

tech

000

4M

opensearch-3.2.0

opensearch 윈도우 버전은 도커 이미지만 있었는데 이제 설치 버전도 제공한다. 환경변수(관리자 패스워드) 등록 및 보안 플러그인 셋업(opensearch-windows-install.bat) 과정이 좀 낯설지만 매뉴얼대로만

tech

000

4M

Logstash 필터 date - 4th

DB 데이터 연동.
[2025-09-07T11:06:48,019][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main]

tech

000

5M

정규표현식 성능을 높이려면

정규표현식 메타문자의 성능 우선순위가 있느냐는 질문을 받았다. 일단 메타문자는 검사 범위의 차이를 가지고 있을 뿐, 성능 차이는 없다. 하지만 성능 우열을 결정할 수는 있다. 기준은 내가 찾으려는 문자열의 위치.
수량자는 최대

tech

000