케세라세라 - mysetting

2:47 5/30

kangmyounghun.blogspot.kr

mobile screenshot relative

2:47

kangmyounghun.blogspot.kr

mobile screenshot

케세라세라
https://kangmyounghun.blogspot.kr/

Easy to analyze if you can cleaning data

저작도구: Blogger

최종 피드 수집: 2025-02-22 09:17

전체 (203)

8d

Splunk 대시보드 - 3rd

스플렁크 대시보드 생성 시 조건 입력창은 다섯 가지인데 형태만 다를 뿐 기능은 모두 동일하다.
프로토콜 조건 입력창 추가. 프로토콜 리스트는 최근 30일 데이터에서 선택.
아직은 조건을 선택해도 차트에 적용되지 않는다.
원본 소스

tech

000

1M

나라를 위해서 일한다는 거짓말

노한동 문체부 전 서기관이 10년 공직 경험을 바탕으로 쓴 자전 에세이.
전도유망한 30대 서기관이 공직을 그만두고 책을 쓴 이유는 무엇일까? 저자는 그 이유를 '헛짓거리', '가짜 노동', '쓸데없는 일' 세 단어로 고백한다.

book

000

1M

Logstash 필터 ruby - 6th

캡쳐그룹 순서번호는 1부터 시작한다.
첫 번째 순서번호 캡쳐를 위한 ruby 필터
ruby {
code => "
event.set('result', event.get('message').match(/(.).../).captu

tech

000

1M

Logstash 필터 ruby - 5th

ruby 필터는 == 등의 비교 연산자를 지원하지 않는다. 다음은 include 메소드를 이용한 ? 검사.
ruby {
code => "
if event.get('message').include?('?')
event.s

tech

000

1M

Logstash 필터 split

공백으로 구분된 데이터.
[2025-01-14T21:09:09,525][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:ma

tech

000

1M

Filebeat의 processors - 5th

filebeat를 이용한 웹로그 전처리.
processors:
- include_fields:
fields: "message"
- if.contains:
message: "?"
then:

tech

000

1M

Thick data

맥킨지, 구글 등 쟁쟁한 이력을 자랑하는 백영재 문화인류학 박사의 2023년작. thick data라는 낯선 용어가 시선을 끈다. 두꺼워? 데이터가?
뭔 말인가 했더니 인류학에서 뭔가를 관찰할 때 고유 맥락과 상황을 포함시켜 연

book

000

1M

2024년에 있었던 일

2024년이 끝나가는구나? 아니다. 그냥 화요일이다. 일출 보러가자는 친구넘에게 해준 말. 니들 체력은 부럽다(..)
그래도 결산은 해야지. 아무래도 올해는 마지막 스플렁크 시리즈를 10월 완성 후, 홀가분해하던 중 닥친 구글북

im thinking

000

1M

데이터 노가다 실수담 - 9th

스플렁크는 아파치 웹로그의 url 정보에서 경로를 제외한 파일 정보를 따로 추출해준다. 아파치만 해줌
그런데 마지막 경로 이후 정보를 무조건 추출하다보니 경로와 파일의 정확한 구분이 안 됨.
.을 포함한 정보만을 파일 조건으로 주

tech

000

1M

데이터 노가다 실수담 - 8th

ta-linux_secure 앱의 유저 정보 추출 결과.
커스텀 유저 추출 결과.
교집합을 구해보면 거의 동일.
그런데 합집합은 왜 이래? 분명 있는데 없다고?
확인해보니 키워드가 Invalid user일 때만 차이 발생 중.
해

tech

000

3M

구글 북 계정 중지

구글 콘텐츠 정책 위반으로 북 파트너 계정이 중지됐다.
내용을 보면 알 수 있지만 중지된 원인이 명확하지 않다. 납작 업드려 담당자(인지 봇인지)에게 제발 이유를 알려달라 읍소 중이지만 돌아오는 건 정책 위반이라는 답변뿐.
좀

book

000

3M

VirtualBox 네트워크

집에서 잘 되는 브리지 모드가 밖에만 나가면 안 돼서 NAT 모드를 쓰는데 VM 복제 시 IP가 바뀌지 않는다. 맥어드레스를 바꿔도 안 됨. machine-id가 같아서 그런가?
[root@Snort ~]# ifconfig eth

tech

000

3M

Splunk의 stats와 eventstats

stats를 이용한 ip별 url 접속 추이.
집계 결과를 다른 필드로 쪼개면? 실패.
데이터셋이 원본에서 중첩된 계산 결과로 바뀌었기 때문에 별도의 집계 분할 기준을 제시할 수 없다.
eventstats를 사용하면?
ip별 u

tech

000

4M

데이터 노가다 실수담 - 7th

1시간 동안 발생한 로그는 1,959개.
이중 변수가 존재하는 로그는 373개.
변수 길이 합산 추이.

엑셀로 집계한 변수 길이 합산 추이. 스플렁크와 거의 같은 결과를 보여준다.
변수가 없는, 즉 변수 길이값이 없는 필드를

tech

000

4M

VIM 꼼수의 발견 - 11th

문자열 길이를 측정해보자. 어떻게?
vim은 strlen 함수도 지원한다. 전체 검색 결과인 submatch(0)에 strlen 함수 적용 후 치환.
원본을 보존하면서 측정값을 추가하고 싶다면?
\zs의 검색 결과는 선행하는

tech

000

4M

시리즈 완결 후기

elastic
Data Anomaly Detection (20.01.09)
Deep dive into web log (21.01.07)
Deep dive into system log (21.04.20)
Deep dive into

book

im thinking

000

4M

Splunk의 Join - 4th

sysmon 이벤트 중 네트워크(3)와 DNS(22) 이벤트는 가끔 프로세스명 추출에 실패한다.
이때 기본 네트워크 이벤트(5156)와 pid를 대조하면 실제 사용된 프로세스를 확인할 수 있다. DNS 조회를 했다는 얘기는 네트워

tech

000

4M

Splunk의 데이터 전처리 자동화 - 2nd

스플렁크의 기본 (정규표현식 기반) 데이터 전처리 결과가 마음에 들지 않을 때 정규표현식을 이용하면 커스터마이징이 그리 어렵지 않다. 그런데 정규표현식이 어렵다면?
스플렁크의 필드 추출 기능을 사용해보자. 사람 읽으라고 만들어진

tech

001

5M

내가 처음이 아니다

하나의 로그스태시 파이프라인에서 서로 다른 데이터를 수집, 서로 다른 인덱스에 저장하는 구성에 대한 질문을 받았다. 방법은 input 구간에서 출처별로 수집 플러그인을 분리한 후, output 구간에서 조건에 따라 저장명을 달리하

im thinking

tech

002

5M

ping

목적지가 localhost면 트래픽은 당연히 루프백 인터페이스에서 발생한다.
목적지가 외부면 외부 연결 인터페이스에서
그런데 목적지가 자기 자신이면
해당 IP가 할당된 인터페이스가 아닌 루프백에서 발생한다. 왜죠?
관련 글
ca

tech

000