케세라세라 - mysetting

2:47 5/30

kangmyounghun.blogspot.kr

mobile screenshot relative

2:47

kangmyounghun.blogspot.kr

mobile screenshot

케세라세라
https://kangmyounghun.blogspot.kr/

Easy to analyze if you can cleaning data

저작도구: Blogger

최종 피드 수집: 2024-04-15 16:46

전체 (159)

3d

Filebeat의 processors - 4th

filebeat를 이용한 시간 정보 처리 설정.
processors:
- timestamp:
field: timestamp
layouts:
- '2006-01-02 15:04:05'
{

tech

000

14d

composable template forbids index auto creation

로그스태시의 동적 매핑을 사용하면 키워드 필드의 ignore_above 값이 256으로 고정된다.
{
"test": {
"aliases": {},
"mappings": {
"properties": {

tech

001

25d

Splunk 대시보드 - 2nd

대시보드 차트에서 IP 조건 검색을 하고 싶다.
IP 검색 조건을 추가한 드릴다운 작업 생성.
이제 대시보드에서 IP 조건 검색 가능.
포트 정보 조건 검색도 하고 싶다면?
준비된 검색 구문은 IP 정보만 사용 가능하기 때문에 검

tech

000

29d

Splunk 대시보드

엘라스틱은 대시보드 전체 차트가 하나의 시간 선택기를 공유하며, 임의 차트의 특정 시간 범위를 마우스 클릭(또는 드래그)을 통해 전체 차트에 적용할 수 있다.
스플렁크는 약간 까다로운데, 일단 대시보드 전체 차트의 시간 범위를 동

tech

000

1M

Filebeat의 processors - 3rd

프로토콜별로 불필요한 필드는 지우고 싶다.
processors:
- include_fields:
fields: "message"
- dissect:
tokenizer: "%{timestamp} %{+t

tech

000

1M

Logstash의 줄바꿈 문자 - 3rd

input 플러그인 file은 줄바꿈 문자로 이벤트 단위를 구분한다.
그래서 줄바꿈 문자가 없으면 데이터를 가져오지 못함.
[2024-03-10T10:08:49,593][INFO ][logstash.agent ]

tech

000

1M

머신러닝의 한계? - 2nd

스플렁크는 데이터 이상징후 분석 기능을 제공한다. 그중 발생 빈도, 표준편차 등의 계산 방식으로 비정상 정도를 산정한다는 anomalousvalue에 변수 고유개수 분석을 맡겨봤다.
변화가 제일 큰, 실제 사고도 발생한 19일은

im thinking

tech

000

1M

Splunk의 조건문

스플렁크 조건문 사용 시 주의사항. 먼저 CASE 조건문. 조건이 참일 땐 문제 없다.
조건이 거짓이면 원본 필드값이 사라짐.
이런 결과를 막으려면 조건이 거짓일 때의 동작도 명시해줘야 한다.
true()를 이용해서 항상 참인 두

tech

000

1M

Splunk의 이벤트 단위 텍스트 필터링

다음은 윈도우 방화벽 로그 발생 현황.

localhost에 의해 발생한 로그양이 절반을 넘는다. 이건 수집하기 싫은데? 윈도우 이벤트는 문자열 검색을 통해 수집 데이터를 필터링할 수 있었다. 텍스트 데이터도 되겠지?
텍스트는

tech

000

2M

Winlogbeat 8.12의 변화

beat 제품군은 8 버전부터 Data stream 사용이 디폴트. 그게 마음에 안 들면 다음 설정을 이용해서 인덱스명을 직접 지정할 수 있다.
그런데 해당 설정이 8.12 버전에서 동작하지 않는다. 8.4 버전까지는 잘 됐는데

tech

000

2M

Splunk와 Winlogbeat 차이 - 3rd

winlogbeat는 이벤트 로그 파일 연동을 지원한다.
스플렁크도 마찬가지. 모니터 기능을 이용해서 연동 대상 파일 지정.
preprocess-winevt란 소스타입이 자동으로 지정된다. 그런데 시간 정보를 제대로 불러오지 못함

tech

000

2M

가짜 노동

덴마크 출신 데니스 뇌르마르크, 아네르스 포그 옌센 공동 저작. 잘 쓰여진 책이라는 생각은 안 들지만 제목의 임팩트만큼은 상당하다.
거시경제학의 창시자 케인즈는 1930년대에 이런 예언을 했다고 한다. "2030년까지 평균 노동

book

000

2M

Splunk DB Connect - 4th

DB connection 설정 시 SSL 사용이 기본 설정.
그런데 설정을 해제하면,
DB 연결이 안 된다. 될 때도 있고
이때 JDBC URL을 직접 편집하면 연결 가능.
INPUT 작업 생성 시 함수 쿼리문
쿼리 테스트는 잘

tech

000

2M

Mysql 설치 오류

기존 설치 과정.
[root@Centos7 ~]# rpm -ivh https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm
Retrieving https://dev

tech

000

2M

Logstash와 ECS

버전 8부터는 로그스태시에도 ECS(Elastic Common Schema)가 기본 적용된다.
다음은 기본 설정으로 데이터를 연동한 결과.
filter {
grok {
match => {"message" => "%{COMMO

tech

000

3M

2023년에 있었던 일

연말에 이제 늘어지면 되나 싶었는데, 곰팡이 핀 귤 먹었다가 근 1주일을 장염에 시달렸다. 귤 사놓으면 항상 한두 개는 곰팡이가 폈지만 매년 그 부분 걷어내고 먹어도 탈이 없었는데 이번엔 좀 덜 걷어냈나?
정신 차리고 보니 23년

im thinking

000

4M

엑셀 피벗 차트의 Y축 추가 외

웹로그 발생량과 접속자 고유개수, 두 지표의 스케일 차이가 커서 비교가 어렵다.
원하는 지표의 계열 차트 종류를 바꿔보자.
지표별 Y축과 차트 유형을 달리 하면 비교가 수월해짐.
이번엔 응답코드별 발생 추이
발생량이 적은 지표가

tech

000

4M

Stop deploying web application firewalls

제목이 도발적이다. 정규표현식 떡칠로 성능도 구리고 오탐률도 높은 웹방화벽 쓰지 말자는 내용인데, 글쓴이는 무슨 사연이 있길래 이런 독설을 쏟아낼까? (정상 서비스 차단해놓고 영업 기밀이라 원인 규명 못한다고 뻗대던 모업체 떠오르

im thinking

000

4M

Elasticsearch 8.11의 변화

엘라스틱이 8.11 버전에서 ES|QL 기능을 추가했다. 간단히 얘기하면 'Unix + SQL' 컨셉의 스플렁크 SPL과 같은 기능.
차트도 그릴 수 있고, 문자열 처리 기능도 제법 쓸만하다.

잠깐 써봤는데 아직 베타지만 앞으로

tech

000

5M

Logstash 필터 dns

IP의 도메인 주소를 질의해주는 dns 필터.
filter {
mutate {
remove_field => ["@timestamp", "@version", "path", "host"]
strip => "message"

tech

000