인프라
Grafana, Loki를 ECS 환경에서 사용하여 모니터링, 로깅, 경보 시스템 구축하기 - (1) ECS 환경 속 로깅 시스템 비교
김도리개발자
2023. 12. 8. 17:04
ECS 환경에서 구축할 시스템의 기술을 선택하는데 있어서 여러가지 선택지가 있었다.
1️⃣ AWS CloudWatch Logs
- AWS에서 제공하는 로그 데이터 수집 및 관리 서비스
- AWS 리소스 및 애플리케이션에서 생성되는 로그 데이터를 쉽게 수집, 저장, 모니터링하고 필요한 경우 검색 가능
장점
- AWS의 관리형 로깅 서비스로 무료로 제공
- ECS EC2 환경과 더 쉽게 통합 가능
- 로그 데이터 수집, 저장, 간단한 검색 및 분석이 가능
단점
- 고급 로그 분석 기능이 부족할 수 있음
- 가격은 사용량에 따라 다르며, 로그 데이터의 용량과 보존 기간에 따라 비용이 발생
2️⃣ ELK / EFK
장점
- 무료로 구축 가능 (오픈소스)
- 데이터 시각화 및 대시보드 생성됨
단점
- 구축 및 운영이 복잡하여 구축 및 운영 비용 발생 (인건비)
- 무겁다
레퍼런스
ECS Container Logs stream to ElasticSearch using Fluentd (EFK)
3️⃣ AWS FireLens with Fluent Bit
FireLens는 Fluent Bit을 활용하여 로그 데이터를 변환하고 다른 저장소로 전송하는데 사용됨
장점
- ECS EC2 환경에서 무료로 사용 가능 무료로 구축 및 운영 가능
- 좀 더 복잡한 로그 파이프라인 구성 가능
단점
- Fluent Bit에 대한 이해 필요
- 직접적인 알림 설정은 불가하여 모니터링에서 해결하거나 다른 서비스 연동해야함
4️⃣ Grafana Loki
장점
- ECS-EC2 인스턴스의 리소스 소비를 최소화하고 경량한 구성을 유지할 수 있음
- 컨테이너 기반의 환경에서 실행되고, Docker 이미지로 제공되기 때문에 배포 및 관리가 상대적으로 단순함
- 로그 데이터 시각화하여 대시보드 생성 가능
단점
- 초기 구축 비용과 운영 비용 발생
- CloudWatch Logs와의 통합에 추가 설정 필요
레퍼런스
https://grafana.com/docs/grafana/latest/
https://grafana.com/docs/loki/latest/