시뻘건 개발 도전기 - mysetting

4:46 5/30

maeng-dev.tistory.com

mobile screenshot relative

4:46

maeng-dev.tistory.com

mobile screenshot

시뻘건 개발 도전기
https://maeng-dev.tistory.com/

고급 개발자가 되고싶다.

저작도구: tistory

최종 피드 수집: 2024-04-09 22:48

전체 (55)

11d

AWS AppSync with OpenSearch

AWS에서 2018년 정식 출시한 AppSync를 사용하여 OpenSearch에서 데이터를 조회해본다.
AWS AppSync with DynamoDB 를 통해 step 4까지 선행 후에 본 포스트를 참고하는 것을 권장한다.
Ope

AWS Tech

API

AppSync

+ 더보기

000

19d

AWS AppSync with DynamoDB

AWS에서 2018년 정식 출시한 AppSync를 사용하여 DynamoDB에서 데이터를 조회해본다.

GraphQL을 기반으로한 AppSync는 [그림 1]과 같이 AWS Lambda, DynamoDB, Elasticsesarc

AWS Tech

API

AppSync

+ 더보기

000

22d

AWS AppSync 알아보기

AWS AppSync란?
AWS AppSync를 사용하면 개발자가 안전한 서버리스 고성능 GraphQL 및 Pub/Sub API를 사용하여 애플리케이션과 서비스를 데이터 및 이벤트에 연결할 수 있습니다.

AppSync는 Gra

AWS Tech

ACM

API

+ 더보기

000

1M

시니어 개발자가 되려고 하는 과정

Who
나는 이번 해에 6년차를 맞이하는 백엔드 엔지니어다. 지금까지는 회사에서 시키는 것 외에 "뭘 더 알아갈 것이 없나?"하고 이것 저것 시도해보고 장애도 많이 내보면서 "경험"에 포커스를 맞추어 경력을 쌓았다. 6년을 맞

기타

개발일기

개발자

+ 더보기

000

3M

데이터 검색: Query DSL 주요 쿼리

Match All Query
match_all 파라미터를 사용하는 Match All Query는 색인에 모든 문서를 검색하는 쿼리다. 가장 단순한 쿼리로 일반적으로 색인에 저장된 문서를 확인할 때 사용된다.
POST movie_s

elastic search query dsl

Elasticsearch

elasticsearch query

+ 더보기

000

3M

데이터 검색: 검색 api

문장은 색인 시점에 텀으로 분해되고 검색 시 이 텀을 일치시켜야 검색이 가능해진다. [그림 1]은 색인 시점과 검색 시점의 기본적인 동작 과정을 표현한다.
엘라스틱서치는 색인 시점에 Analyzer를 통해 분석된 텀을 Term,

엘라스틱서치 실무 가이드

Elasticsearch

ES

+ 더보기

000

3M

Document API 이해하기

인덱스를 활용하기 위해서는 Document api를 사용할 수 있다. 엘라스틱서치에서는 인덱스 관리를 위해 Document api를 제공하는데 이를 이용해 문서를 조회하거나 추가/수정/삭제 등의 작업을 할 수 있다.

문서 파라

엘라스틱서치 실무 가이드

API

Document

+ 더보기

000

3M

데이터 모델링: 전처리 필터

분석기는 전처리 필터를 이용한 데이터 정제후 토크나이저를 이용해 본격적인 토큰 분리 작업을 한다. 그 다음 생성된 토큰 리스트를 토큰 필터를 통해 재가공하는 3단계 방식으로 동작한다. 하지만 토크나이저 내부에서도 일종의 전처리가

엘라스틱서치 실무 가이드

Elasticsearch

ES

+ 더보기

000

4M

데이터 모델링: 분석기

텍스트 분석 개요
엘라스틱서치는 루씬을 기반으로 구축된 텍스트 기반 검색엔진이다. 루씬은 내부적으로 다양한 분석기를 제공하는데 엘라스틱서치는 루씬이 제공하는 분석기를 그대로 활용한다. 그렇기 때문에 이 분석기를 어떻게 동작하는지

엘라스틱서치 실무 가이드

analyzer

Elasticsearch

+ 더보기

000

4M

데이터 모델링: 데이터 타입

필드에는 다음과 같은 데이터 타입을 지정할 수 있다.
- keyword, text 같은 문자열 데이터 타입
- date, long, double, integer, boolean, ip 같은 일반적인 데이터 타입
- 객체 또는 중첩

엘라스틱서치 실무 가이드

data type

Elasticsearch

+ 더보기

000

4M

데이터 모델링: 메타 필드

메타 필드(Meta Fields)는 메타 데이터를 저장하는 특수 목적의 필드로서 검색시 문서를 다양한 형태로 제어하기 위해 사용되는 필드다. 아래 예제에서 보았을 때, 실제 문서 정보를 담고있는 항목은 _source항목이다. 그

엘라스틱서치 실무 가이드

data modeling

Elasticsearch

+ 더보기

000

4M

데이터 모델링: 맵핑 api

엘라스틱서치에서 색인할 때 데이터 유형에 따라 필드에 적절한 데이터 타입을 지정하는 과정을 맵핑이라고한다. 맵핑은 색인될 문서의 데이터 모델링이라고도 할 수 있다. 만약 맵핑 설정을 하지 않으면 엘라스틱서치가 자동으로 필드를 생성

엘라스틱서치 실무 가이드

Elasticsearch

ES

+ 더보기

000

4M

엘라스틱서치 api

api의 종류
앞서 계속 언급되었듯이 Elasticsearch는 RESTful 방식의 api를 제공하며 json 기반으로 통신한다. 아래와 같이 엘라스틱서치에서 api를 제공한다.
인덱스 관리 api: 인덱스 관리
문서 관리 ap

엘라스틱서치 실무 가이드

CRUD

Elasticsearch

+ 더보기

000

4M

엘라스틱서치 용어

엘라스틱서치의 기본 용어
엘라스틱서치의 데이터는 [그림 1]과 같이 인덱스, 타입, 문서, 필드 구조로 구성된다.

인덱스
인덱스는 데이터를 저장하는 공간이다. 하나의 인덱스는 하나의 타입만 가지며 하나의 물리적인 노드에 여러

엘라스틱서치 실무 가이드

Elasticsearch

ES

+ 더보기

000

4M

키바나 설치

키바나는 엘라스틱에서 제공하는 데이터 시각화 프로그램이다. 키바나를 이용하면 엘라스틱에 갯인된 데이터를 검색하거나 문서를 추가하거나 하는 등의 기능을 손쉽게 구현할 수 있다.
bin 디렉토리에 kibana와 kibana.bat 파

엘라스틱서치 실무 가이드

Elasticsearch

elasticsearch setting

+ 더보기

000

4M

Elasticsearch 환경 구축

엘라스틱서치로 실제 서비스를 운영할 때는 최소 3개 이상의 물리적인 노드로 클러스터를 구축하는 것이 좋다. 테스트 모드에서는 목적성이 다르기 때문에 싱글 모드로 구성하기도한다.

Elasticsearch 설치
엘라스틱서치는 자바

엘라스틱서치 실무 가이드

Elasticsearch

elasticsearch install

+ 더보기

000

4M

검색 시스템 이해하기

엘라스틱 서치
검색엔진은 웹에서 정보를 수집해 검색 결과를 제공하는 프로그램이다. 검색 결과로 제공되는 데이터의 특성에 따라 구현 형태가 달라진다. 검색 시스템은 대용량 데이터의 검색 결과를 제공하기 위해 검색엔진을 기반으로 구축

엘라스틱서치 실무 가이드

database

db

+ 더보기

000

7M

part2. 동시성 이슈의 해결 방법 (2+1)가지

이전 포스팅에서 우리는 대표적인 낙관적 락과 비관적 락에대해서 간략하게 살펴보았다.
사실 나는 낙관적 락도 사용하지 않았고 비관적 락도 사용하지 않았다.
DB의 부하를 줄일 수 있는 방법을 몰색하다가 redis를 사용한 [분산 락

spring

Lock

redis

+ 더보기

000

7M

part1. 동시성 이슈의 해결 방법 (2+1)가지

최근 토이 프로젝트를 진행하면서 맞이한 동시성 이슈.
그 이슈는 "게시글의 조회수 증가"에서 맞이하게 된다. 서로 다른 사용자가 동시에 게시글을 열람한다면, 조회수는 +2가 되어야할테니...
따라서 동시성 이슈를 해결하기 위해 락

spring

optimistic lock

pessimistic lock

+ 더보기

000

8M

Object Storage with CDN(used gcore)

일단 방금 유레카를 외치면서 한 바탕 감동의 쓰나미를 즐기다 왔다.
지금 토이프로젝트를 하고 있는데 워낙 사이즈가 크다 보니 별 삽질을 다 하는거 같다ㅜㅜ

방금 내가 무엇을 했냐면 minio로 Object Storage를 구축

기타

aws

CDN

+ 더보기

000