Grafana, Loki를 ECS 환경에서 사용하여 모니터링, 로깅, 경보 시스템 구축하기 - (1) ECS 환경 속 로깅 시스템 비교

ECS 환경에서 구축할 시스템의 기술을 선택하는데 있어서 여러가지 선택지가 있었다.

1️⃣ AWS CloudWatch Logs

• AWS에서 제공하는 로그 데이터 수집 및 관리 서비스
• AWS 리소스 및 애플리케이션에서 생성되는 로그 데이터를 쉽게 수집, 저장, 모니터링하고 필요한 경우 검색 가능

장점

• AWS의 관리형 로깅 서비스로 무료로 제공
• ECS EC2 환경과 더 쉽게 통합 가능
• 로그 데이터 수집, 저장, 간단한 검색 및 분석이 가능

단점

• 고급 로그 분석 기능이 부족할 수 있음
• 가격은 사용량에 따라 다르며, 로그 데이터의 용량과 보존 기간에 따라 비용이 발생

2️⃣ ELK / EFK

장점

• 무료로 구축 가능 (오픈소스)
• 데이터 시각화 및 대시보드 생성됨

단점

• 구축 및 운영이 복잡하여 구축 및 운영 비용 발생 (인건비)
• 무겁다

레퍼런스

ECS Container Logs stream to ElasticSearch using Fluentd (EFK)

ECS Container Logs stream to ElasticSearch using Fluentd (EFK)

3️⃣ AWS FireLens with Fluent Bit

FireLens는 Fluent Bit을 활용하여 로그 데이터를 변환하고 다른 저장소로 전송하는데 사용됨

장점

• ECS EC2 환경에서 무료로 사용 가능 무료로 구축 및 운영 가능
• 좀 더 복잡한 로그 파이프라인 구성 가능

단점

• Fluent Bit에 대한 이해 필요
• 직접적인 알림 설정은 불가하여 모니터링에서 해결하거나 다른 서비스 연동해야함

4️⃣ Grafana Loki

장점

• ECS-EC2 인스턴스의 리소스 소비를 최소화하고 경량한 구성을 유지할 수 있음
• 컨테이너 기반의 환경에서 실행되고, Docker 이미지로 제공되기 때문에 배포 및 관리가 상대적으로 단순함
• 로그 데이터 시각화하여 대시보드 생성 가능

단점

• 초기 구축 비용과 운영 비용 발생
• CloudWatch Logs와의 통합에 추가 설정 필요

레퍼런스

AWS ECS and Loki integration

AWS ECS and Loki integration

https://grafana.com/

Grafana: The open observability platform | Grafana Labs

https://grafana.com/docs/grafana/latest/

Grafana documentation | Grafana documentation

https://grafana.com/docs/loki/latest/

Grafana Loki documentation | Grafana Loki documentation