본문 바로가기
반응형

전체 글156

[EFK] kinesis firehose를 사용하여 fluent-bit 로그를 es로 보내기(datatransfer with lambda) 이번 게시글에서는 kinesis firehose를 사용하여 fluent bit 로그를 es로 보내는 방법에 대해 정리합니다. fluent bit 의 output 설정은 이전게시글을 참고해주세요 [devops] fluent bit을 사용해 로그를 elastic search로 보내는 방법들 이번 게시글에서는 fluent bit에서 나온 데이터를 elastic search로 보내는 방법에 대해 정리합니다. fluent-bit 사용법은 이전 게시글을 참고해주세요 [devops] fluent bit 으로 k8s(eks)로그 관리하기(bluent-bi.. frozenpond.tistory.com 1 .kinesis firehose란 대용량 스트리밍 데이터 처리 기능을 제공하는 aws 서비스로 kinesis deli.. 2022. 6. 16.
[EFK] fluent bit을 사용해 로그를 elastic search 보내기 이번 게시글에서는 fluent bit에서 나온 데이터를 elastic search로 보내는 방법에 대해 정리합니다. fluent-bit 사용법은 이전 게시글을 참고해주세요 [devops] fluent bit 으로 k8s(eks)로그 관리하기(bluent-bit 사용법, EFK) 이번 게시글에서는 fluent-bit 사용법에 대해 정리합니다. 1. fluent-bit이란 일반적으로 로깅은 Elastic search, LogStatsh, Kibana의 앞자리를 가져온 ELK 스택이 많이 사용됩니다. 그러나 k8s 클러스터 환경.. frozenpond.tistory.com 대표적인 4가지 방법은 아래와 같습니다 하나씩 장단점을 정리합니다. (1). 바로 es로 보내는 방법 (2). cloudwatch 로그 그.. 2022. 6. 16.
[EFK] EFK란(fluent bit 사용법) 이번 게시글에서는 fluent-bit 사용법에 대해 정리합니다. 1. fluent-bit이란 일반적으로 로깅은 Elastic search, LogStatsh, Kibana의 앞자리를 가져온 ELK 스택이 많이 사용됩니다. 그러나 k8s 클러스터 환경에서는 로그를 수집하는 역할을 하는 'L'의 LogStatsh 대신 fluent bit 이라는 로그 수집기를 사용하는 경우도 많습니다(EFK라고 불립니다) fluent bit은 대표적인 로그 수집기중(LogStash, fluentd, fluentbit) 가장 가볍고(다른 수집기에 비해 10배이상 가볍습니다), 분산한경을 고려하여 만들어졌기에 최근 k8s의 로그 수집기로 각광받고 있습니다. 2. EFK 아키텍쳐 아키텍쳐는 위와 같습니다. 파란색은 쿠버네티스 오브.. 2022. 5. 30.
[terraform] 테라폼 count, 조건문, 반복문, dynamic, for_each, lookup 사용법 이번게시글에서는 count, 조건문, 반복문 사용법을 정리합니다. s3 bucket만 사용한 예제입니다. 1. count 사용법 provider "aws" { region = "ap-northeast-2" } resource "aws_s3_bucket" "this" { count = 3 bucket = "frozen-bucket-${count.index}" } count라는 필드는 내부적으로 반복되는 특징이 있어서 이런식으로 사용하게되면 버킷이 3개 생성되게 됩니다. (아래의 상황에 직면할 가능성이 조금이라도 존재한다면 count로 resource를 관리하는것은 추천하지 않습니다) [terraform] resource를 여러개 생성하는법(count보다는 module과 for_each) 이번 게시글에서는 .. 2022. 5. 24.
[terraform] 테라폼 backend, tfstate란 이번게시글에서는 테라폼의 backend, tfstate에 대해 정리합니다. 1. 테라폼의 동작순서와 상태 먼저 테라폼의 동작순서와 .tfstate​ 에 대해 정리합니다. (1). terraform init tf파일(provider가 지정되어 있어 어떤 인프라를 관리할지 정해져있는)이 있는곳에서 terraform init 명령어를 입력하면 provider, module, state 설정을 진행하며 테라폼을 시작하기 위한 준비를 진행합니다. 표면적으로는 .terraform 디렉토리가 생성되며 관련 테라폼 관련 라이브러리 모듈 등을 가져옵니다.(내부에 .tfstate에 정의된 내용도 포함) 인프라 관련 동시성처리를 안전하게 해줄 .terraform.lock.hcl 파일도 생성됩니다. (2). terraform.. 2022. 5. 24.
[terraform] 테라폼 module 사용법(테라폼 모듈 사용법) 이전 게시글에서 이어지는 내용입니다. [terraform] terraform variable 사용법(테라폼 변수 사용법) 이전 게시글에서 이어지는 내용입니다. [terraform] terraform 시작하기 (terraform tutorial, 테라폼 예제) aws를 잘 몰라도 테라폼을 할 수 있도록 간단한 예제 게시글을 작성합니다 vpc셋팅같이 aws 지식이 frozenpond.tistory.com 이번 게시글에서는 terraform module 사용법에 대해 정리합니다. 마찬가지로 s3 bucket만 사용한 예제입니다. 1. terraform module이란? 템플릿의 개념으로 resource를 가져와서 원하는 자원을 만드는 terraform 자원입니다. 개인적으로는 처음 공부할때 가장 헷갈리는 개념.. 2022. 5. 11.
[terraform] 테라폼 variable 사용법(테라폼 변수 사용법) 이전 게시글에서 이어지는 내용입니다. [terraform] terraform 시작하기 (terraform tutorial, 테라폼 예제) aws를 잘 몰라도 테라폼을 할 수 있도록 간단한 예제 게시글을 작성합니다 vpc셋팅같이 aws 지식이 없을때 접근하기 힘든 리소스들 보다는 쉬운 s3버킷만 가지고 테라폼 사용법을 정리할 예정입니 frozenpond.tistory.com 이번 게시글에서는 terraform variable 테라폼 변수 사용법에 대해 정리합니다. 1. terraform variable이란 테라폼은 hcl syntax적 특징을 가진 언어로 변수가 존재합니다. 변수를 주입하는 방법에도 여러가지가 있으므로 자주 사용하는 방법에 대해 간단히 정리합니다. 마찬가지로 aws를 몰라도 쉽게 진행할 수.. 2022. 5. 11.
[기타] 맥북 m1 더블모니터 사용하기(displaylink 국내 제품 추천) m1 맥북은 외장모니터를 한대만 지원합니다.(21 이전의 맥북) usb 썬더볼트 허브 등을 이용해서 hdmi를 여러대 꽂아도 결국 하나의 모니터에서만 출력이 됩니다. 가장 쉬운 방법은 30만원정도를 투자해 고급 독을 구매하는 거지만, 이번 게시글에 목표는 가성비와 손쉬운 셋팅 방법입니다. 준비물: displaylink 칩이 내장된 어댑터, 모니터 2대 1. 제품 선택 displaylink를 지원하는 제품을 찾아야 합니다. 국내 제품으로는 NX-U3TH1, nm-che02 정도가 유명하지만 남은 재고가 없는것 같습니다. 해외 직구를 고민하던 중 국내 제품을 발견했습니다. NEXT-313DPHU3 넥스트 이지넷유비쿼터스 USB 3.0 to HDMI 디스플레이 어댑터 NEXT-313DPHU3 COUPANG w.. 2022. 5. 2.
[golang] aws-sdk-go-v2 aws resource 정보를 max value 이상 가져오기 이번 게시글에서는 aws-sdk-go-v2에서 제공하는 resource의 정보를 max value 이상 가져오는방법에 대해 정리합니다. aws sdk에서 제공하는 클라이언트를 이용해 aws의 데이터를 가져올때, 전체 데이터를 요청해도 지정된 갯수 이상으로 가져오지 못하는 경우가 있습니다. 이런 경우에는 데이터를 모두 내려주지 않았다는 의미로 Istrucated에 값이 True로 설정되어 내려옵니다. Istrucated의 값이 true라면 KeyMarker에 저장된 토큰값을 다시 넘겨서 조회되면 페이징, 커서 의 개념처럼 이전에 조회했던 부분부터 다시 1000개를 조회해 올 수 있습니다. 최초에 조회할때는 keyMarker를 비어있는 문자열로, 이후에는 내려온 값으로 조회해서 구현할 수 있습니다(sdk별로.. 2022. 4. 28.
반응형

티스토리툴바