반응형 elastic search4 [elasticsearch] opensearch와 aws sso연동 opensearch에 인증을 붙이는 방법에는 크게 saml연동과 cognito 연동이 있습니다. 이번 게시글에서는 opensearch에 aws sso saml 연동하는 방법에 대해 정리합니다. 1. 세분화된 액세스 제어 활성화 saml 연동을 위해서는 세분화된 액세스 제어를 활성화 해야 합니다.(세분화된 액세스 제어를 활성화하게 되면 saml연동을 하거나 최소한 basic auth를 적용해야하며 aws에 문의해도 이전의 상태로는 돌아갈수 없으니 주의합니다.) 2. saml 인증 활성화 saml 인증 활성화를 체크해준후 서비스 공급자 엔터티 ID, idp가 시작한 SSO URL, sp가 시작한 SSO URL을 복사해서 메모해둡니다. idp는 sso 페이지에서 카드아이콘을 이용해 접근할때 필요하며, sp는 .. 2023. 4. 25. [elastic search] 엘라스틱 서치 mapping(매핑)이란(mapper_parsing_exception 이유) 이번 게시글에서는 엘라스틱 서치의 매핑에 대해 정리합니다.(mapper_parsing_exception) 1. mapping이란 엘라스틱서치 매핑이란 인덱스에 어떤 필드는 어떤 형식의 데이터이니 어떠한 구조로 저장하겠다는 규칙입니다. 그러나 엘라스틱 써치는 인덱스와 json만 입력해주면 데이터를 저장할 수 있긴 합니다. 매핑을 하면 뭐가 좋고 안하면 뭐가 좋은지는, 아래의 예제로 확인하겠습니다. // 저장 POST my_index/_doc { "name": "Tom", "age": 1 } POST my_index/_doc { "name": "June", "age": 2 } POST my_index/_doc { "name": "John", "age": 1 } 저장 후 이름이 J로 시작하는 애들을 검색하면 .. 2022. 8. 29. [elastic search] 엘라스틱 서치 shard와 replica 이번 게시글에서는 엘라스틱서치 샤드와 레플리카에 대해 정리합니다. 1. 샤드란 elastic search는 인덱스에 데이터를 저장하며, 인덱스의 인스턴스를 샤드라고 합니다. 즉 인덱스에 데이터를 저장하면 데이터는 샤드에 기록되며 디스크에 저장됩니다. 샤드는 일반적으로 20~40gb 의 데이터가 저장되도록 하는게 좋습니다. (ex index에 저장되는 데이터의 양이 60gb라면 샤드를 2개로 설정해주는게 좋습니다, 샤드에 데이터는 50gb를 넘기지 않아는게 좋습니다.) 인덱스를 정의할때 setting필드에 정의를 해주거나(setting이란 인덱스의 샤드, 레플리카의 매핑 등의 정보를 설정할때 사용되는 필드입니다.) 아래의 코드와 같이 템플릿을 만들어 놓으면 index가 생성(my- , your-로 시작되는.. 2022. 8. 29. [elastic search] 엘라스틱 서치란(elastic search, kibana 사용법) 이번 게시글에서는 elastic search에 대해 정리합니다. 1. elastic search란 검색엔진이자 분산저장소입니다. 일반적으로 JSON 형식의 데이터를 저장하며 루씬 기반으로 개발되어있어 빠른 검색이 가능합니다. 서비스의 검색을 위해 사용되거나, 로그 등의 데이터를 검색할때 자주 사용됩니다.(ELF, EFK 등) elastic search와 함께 딸려오는 kibana는 elastic search를 쓰기 쉽게 만들어주는 툴이며 결과를 시각화하는 기능과 dsl을 질의할 툴을 제공하는 등 추가기능을 제공합니다. 2. 언제 사용하면 좋을까 내부적으로 복잡한 과정(Caharacter filter, Tokenizer, Token filter를 이용한 구문 분석 및 Inverted index table .. 2022. 8. 29. 이전 1 다음 반응형
