케세라세라 - mysetting

2:47 5/30

kangmyounghun.blogspot.kr

mobile screenshot relative

2:47

kangmyounghun.blogspot.kr

mobile screenshot

케세라세라
https://kangmyounghun.blogspot.kr/

Easy to analyze if you can cleaning data

저작도구: Blogger

최종 피드 수집: 2025-03-23 13:17

전체 (210)

19h

Logstash 필터 geoip - 2nd

geoip 필터를 이용하면 위경도를 포함한 ip 주소의 다양한 지리 정보를 사용할 수 있다.
{
"message" => "122.213.34.56",
"geoip" => {
"longit

tech

000

6d

ingest pipeline - 6th

로그스태시는 조건문으로 필터의 유기적인 실행 관계를 설정할 수 있다. beat processor도 마찬가지. 다음은 데이터 조건에 따라 달라지는 로그스태시 필터.
filter {
mutate {
remove_field =>

tech

000

9d

ingest pipeline - 5th

다음은 url과 변수를 구분해서 검사하는 정규표현식.
grok processor 사용 시 에러 발생.
POST _ingest/pipeline/_simulate
{
"pipeline": {
"processors": [

tech

000

11d

엘라스틱 Runtime field - 11th

배열 데이터에 접근하는 런타임 필드 생성.
런타임 필드는 인덱싱을 하지 않기 때문에 대소문자를 구분한다.
소문자 검색 실패.
검색 시 대소문자 구분을 하고 싶지 않다면 만들 때부터 소문자로 저장해야 한다.
관련 글
엘라스틱 Run

tech

000

17d

엘라스틱의 합집합 집계

특정 프로세스 발생 통계.
집계 분할 기준에 제작사 정보를 추가하면 집계 실패. 제작사 정보가 없으니까.
이때 null값 추가 옵션을 사용하면 합집합 집계 가능.
엘라스틱이 열심히 밀어주는 Lens에서는 이렇게.
관련 글
데이터

tech

000

20d

엘라스틱 Runtime field - 10th

beat 기본 인덱스 템플릿을 사용하면 1,500여 개 필드로 구성된 인덱스가 생성된다.
이게 싫으면 별도 템플릿을 사용하면 됨.
그런데 갑자기 geo_point 타입 필드가 필요하면?
미리 계획된 템플릿을 준비하지 못했더라도 r

tech

000

24d

Beat processors - 6th

;을 구분자로 사용한 데이터 분리.
- script:
lang: javascript
source: >
function process(evt)
var str = evt.Get('message

tech

000

1M

Splunk 대시보드 - 3rd

스플렁크 대시보드 생성 시 조건 입력창은 다섯 가지인데 형태만 다를 뿐 기능은 모두 동일하다.
프로토콜 조건 입력창 추가. 프로토콜 리스트는 최근 30일 데이터에서 선택.
아직은 조건을 선택해도 차트에 적용되지 않는다.
원본 소스

tech

000

2M

나라를 위해서 일한다는 거짓말

노한동 문체부 전 서기관이 10년 공직 경험을 바탕으로 쓴 자전 에세이.
전도유망한 30대 서기관이 공직을 그만두고 책을 쓴 이유는 무엇일까? 저자는 그 이유를 '헛짓거리', '가짜 노동', '쓸데없는 일' 세 단어로 고백한다.

book

000

2M

Logstash 필터 ruby - 6th

캡쳐그룹 순서번호는 1부터 시작한다.
첫 번째 순서번호 캡쳐를 위한 ruby 필터
ruby {
code => "
event.set('result', event.get('message').match(/(.).../).captu

tech

000

2M

Logstash 필터 ruby - 5th

ruby 필터는 == 등의 비교 연산자를 지원하지 않는다. 다음은 include 메소드를 이용한 ? 검사.
ruby {
code => "
if event.get('message').include?('?')
event.s

tech

000

2M

Logstash 필터 split

공백으로 구분된 데이터.
[2025-01-14T21:09:09,525][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:ma

tech

000

2M

Filebeat의 processors - 5th

filebeat를 이용한 웹로그 전처리.
processors:
- include_fields:
fields: "message"
- if.contains:
message: "?"
then:

tech

000

2M

Thick data

맥킨지, 구글 등 쟁쟁한 이력을 자랑하는 백영재 문화인류학 박사의 2023년작. thick data라는 낯선 용어가 시선을 끈다. 두꺼워? 데이터가?
뭔 말인가 했더니 인류학에서 뭔가를 관찰할 때 고유 맥락과 상황을 포함시켜 연

book

000

2M

2024년에 있었던 일

2024년이 끝나가는구나? 아니다. 그냥 화요일이다. 일출 보러가자는 친구넘에게 해준 말. 니들 체력은 부럽다(..)
그래도 결산은 해야지. 아무래도 올해는 마지막 스플렁크 시리즈를 10월 완성 후, 홀가분해하던 중 닥친 구글북

im thinking

000

2M

데이터 노가다 실수담 - 9th

스플렁크는 아파치 웹로그의 url 정보에서 경로를 제외한 파일 정보를 따로 추출해준다. 아파치만 해줌
그런데 마지막 경로 이후 정보를 무조건 추출하다보니 경로와 파일의 정확한 구분이 안 됨.
.을 포함한 정보만을 파일 조건으로 주

tech

000

2M

데이터 노가다 실수담 - 8th

ta-linux_secure 앱의 유저 정보 추출 결과.
커스텀 유저 추출 결과.
교집합을 구해보면 거의 동일.
그런데 합집합은 왜 이래? 분명 있는데 없다고?
확인해보니 키워드가 Invalid user일 때만 차이 발생 중.
해

tech

000

4M

구글 북 계정 중지

구글 콘텐츠 정책 위반으로 북 파트너 계정이 중지됐다.
내용을 보면 알 수 있지만 중지된 원인이 명확하지 않다. 납작 업드려 담당자(인지 봇인지)에게 제발 이유를 알려달라 읍소 중이지만 돌아오는 건 정책 위반이라는 답변뿐.
좀

book

000

4M

VirtualBox 네트워크

집에서 잘 되는 브리지 모드가 밖에만 나가면 안 돼서 NAT 모드를 쓰는데 VM 복제 시 IP가 바뀌지 않는다. 맥어드레스를 바꿔도 안 됨. machine-id가 같아서 그런가?
[root@Snort ~]# ifconfig eth

tech

000

4M

Splunk의 stats와 eventstats

stats를 이용한 ip별 url 접속 추이.
집계 결과를 다른 필드로 쪼개면? 실패.
데이터셋이 원본에서 중첩된 계산 결과로 바뀌었기 때문에 별도의 집계 분할 기준을 제시할 수 없다.
eventstats를 사용하면?
ip별 u

tech

000