S4 Logs
CloudWatch Logs를 zstd S3로 아카이브
CloudWatch Logs 청구액을 70–90% 절감: zstd S3로의 multi-account drain, WORM/Object Lock 컴플라이언스, 비용 대시보드를 제공합니다.
S4 Logs Commercial은 CloudWatch Logs를 zstd 압축 S3로 아카이브하고 PutLogEvents 호환 게이트웨이로 ingest 과금을 회피합니다. Commercial 계층은 AWS Organizations multi-account drain, S3 Object Lock(Governance 및 Compliance, SEC 17a-4) WORM 보존, 비용 절감 및 복원 검색 대시보드를 추가합니다. 아카이브는 plain zstd와 Athena로 계속 읽을 수 있어 lock-in이 없습니다.
해결하고자 하는 과제
CloudWatch Logs는 수집 시 GB당 $0.50, 저장 시 월 GB당 $0.03를 청구합니다. 대부분의 로그는 한 번 기록된 후 거의 다시 읽지 않으므로, 아무도 쿼리하지 않는 데이터를 저장하기 위해 계속 비용을 지불하게 됩니다. 이미 지불한 수집 비용은 회수할 수 없기 때문에, 로그 볼륨이 늘어남에 따라 매달 청구 비용이 계속 올라갑니다.
작동 원리
- 1
소스에서 드레인 또는 바이패스
Mode A로 기존 로그 그룹을 드레인하거나, 애플리케이션 변경 없이 엔드포인트 재정의(override)만으로 에이전트가 PutLogEvents 호환 게이트웨이(Mode B)를 가리키도록 하십시오.
- 2
S3에 zstd로 아카이브
이벤트는 바이트 범위 및 타임스탬프 인덱스 사이드카와 함께 표준 zstd 압축 JSONL 형태로 S3에 기록되며, CloudWatch보다 1~2자릿수 낮은 스토리지 비용이 소요됩니다.
- 3
필요 시 검색 및 복원
Grep 및 restore는 S3 range read를 통해 쿼리에 필요한 프레임만 읽으며, Athena를 통해 아카이브를 즉시 쿼리할 수 있고, 대시보드에서 절감액을 보여줍니다.
주요 특징
AWS Organizations multi-account를 lock-in 없는 단일 아카이브로 drain합니다.
WORM / S3 Object Lock(Governance + Compliance), 잠금 전에 검증.
비용 절감 대시보드 + 복원 검색 UI(단일 바이너리).
포함 사항
- PutLogEvents 호환 게이트웨이 및 Mode A 드레인과 Mode B 바이패스 라우팅
- STS assume-role을 통해 각 계정으로 확장하여 하나의 통합 버킷으로 모으는 AWS Organizations 멀티 계정 드레인
- 객체당 감사 로그가 포함된 Governance 및 Compliance 모드(SEC 17a-4)의 S3 Object Lock WORM 보존
- 임베디드 에셋이 포함된 단일 독립 실행형 바이너리 형태의 비용 절감 및 복원 검색 대시보드
- 아카이브는 일반 zstd 및 Athena로 읽을 수 있는 상태를 유지하므로, 데이터를 읽기 위해 S4 도구가 필요하지 않습니다
- AMI에 번들로 제공되는 오픈 소스 s4logs CLI(drain, serve, grep, restore, report, plan)
- Object-Lock이 활성화된 버킷, IAM 역할 및 대시보드 호스트를 프로비저닝하는 원클릭 CloudFormation
주요 활용 사례
AWS Organization 내 모든 계정의 CloudWatch Logs를 하나의 버킷으로 중앙 집중화 및 아카이브
root를 포함하여 그 누구도 변경하거나 조기에 삭제할 수 없는 SEC 17a-4 WORM 보존 상태로 규제 대상 로그 보관
게이트웨이를 통해 로그 트래픽을 라우팅하여 $0.50/GB 수집 통행세를 건너뜀으로써 수집량이 많은 계정의 비용 절감
한 번 기록되고 거의 읽지 않는 로그 그룹의 스토리지 비용을 줄인 다음, CloudWatch 보존 기간을 안전하게 단축
자주 묻는 질문
실제로 얼마나 절감할 수 있나요?
모드에 따라 다릅니다. 주된 비용인 수집 단계를 우회하는 Mode B에서는 $0.50/GB의 수집 요금이 대부분을 차지하기 때문에 청구 비용의 약 70–90%를 절감할 수 있습니다. Mode A만 사용하는 경우에는 스토리지 비용만 절감되어 S3 Standard에서 약 50–70%, Glacier Instant Retrieval에서 최대 약 90%가 절감되며, 이미 지불한 수집 요금은 회수할 수 없습니다.
데이터가 귀사 제품에 락인(lock-in)되나요?
아니요. 아카이브는 JSONL을 포함하는 표준 RFC 8878 zstd 프레임이 연결된 형태이며, zstd -dc로 해제하여 읽을 수 있고 Athena로 즉시 쿼리할 수 있어 S4 도구가 필요하지 않습니다. 온디스크 포맷은 1.x 시리즈에 대해 동결되어 있으므로 구독을 해지하더라도 데이터를 완전히 읽을 수 있습니다.
컴플라이언스 및 WORM 요건을 충족하나요?
네. lock 명령은 S3 Object Lock을 Governance 또는 Compliance 모드로 적용합니다. Compliance 모드는 되돌릴 수 없으며 root 계정을 포함한 그 누구도 삭제하거나 기간을 단축할 수 없어 SEC 17a-4와 같은 규정을 지원합니다. 잠금 전에 각 객체는 매니페스트와 대조하여 무결성 검증을 거칩니다.
여러 AWS 계정에 걸쳐 사용할 수 있나요?
네. Organizations 멀티 계정 드레인은 멤버 계정(전체, OU별 또는 명시적 목록)을 열거하고, STS를 통해 각 계정의 교차 계정 역할을 AssumeRole하여 계정 ID별로 파티셔닝된 하나의 통합 버킷으로 드레인합니다.
어디에서 실행되며, 애플리케이션을 변경해야 하나요?
자체 AWS 계정 및 VPC 내에서 AMI로 실행되며, Marketplace를 통해 시간당 및 연간 요금으로 청구되고, 라이선스 키 확인이 없으며 데이터가 계정 밖으로 나가지 않습니다. 애플리케이션을 변경할 필요가 없습니다. 게이트웨이가 CloudWatch Logs의 PutLogEvents 와이어 프로토콜(wire protocol)을 지원하므로 Fluent Bit, CloudWatch Agent 또는 SDK는 엔드포인트 재정의(override)만으로 이전할 수 있습니다.
요금제 모델
시간당 소프트웨어 요금 + EC2(t3 / m5급). 인스턴스 유형별 종량 과금, 연간 옵션 제공.
