S4 AccessLake
모든 로그는 S3 + Iceberg로, 다운스트림에는 시그널만
언제 비용을 회수하나요?
회수 시점은 비용 항목과 대체 범위에 따라 달라집니다
이 제품의 회수 시점은 현재 AWS 지출, 대체 범위, 실행 환경에 따라 달라집니다. 청구서 계산기로 해당 비용 항목과 대략적인 절감액을 확인하세요.
로그 소스와 CloudWatch Logs / OpenSearch / SIEM 사이에 위치하는 AWS 액세스 로그 레이크하우스 게이트웨이의 EC2 AMI입니다. 모든 레코드를 zstd + Apache Parquet + Apache Iceberg 형태로 자체 S3에 완전한 충실도로 아카이브하고, 다운스트림에는 필요한 시그널만 전송하여 단 하나의 레코드도 누락하지 않고 수집량을 50–90% 절감합니다.
S4 AccessLake는 AWS 로그 소스(S3 server access logs, AWS WAF, CloudFront, ALB, NLB, VPC Flow Logs, Network Firewall, Route 53 Resolver)와 이들이 일반적으로 흘러 들어가는 고가의 목적지(CloudWatch Logs, OpenSearch, SIEM) 사이에 위치합니다. 완전한 충실도의 로그 스트림을 zstd + Apache Parquet + Apache Iceberg 형태로 자체 S3 버킷에 아카이브한 다음, 크리티컬 이벤트, 상위 N개의 노이즈 IP, 집계 카운트, 샘플링된 추적 등 실제로 필요한 시그널만 전달합니다. 그 결과, 감사, 침해 사고 대응, 포렌식을 위한 모든 레코드를 유지하면서 CloudWatch / SIEM 수집 GB를 50–90% 절감할 수 있습니다. 내장된 비용 대시보드가 실시간으로 절감액을 시각화하고, 정책 DSL(dry-run 규칙 + preflight lint 검증)이 로그의 흐름을 제어하며, Merkle로 앵커링된 증명을 통해 제3자가 오프라인에서 아카이브의 완전성을 검증할 수 있습니다.
해결하고자 하는 과제
WAF, CloudFront, ALB, VPC Flow 등의 액세스 로그를 CloudWatch Logs 또는 SIEM(Splunk, Datadog, OpenSearch)으로 전량 전송하면 수집 비용이 가장 큰 지출 항목이 됩니다. 하지만 비용 절감을 위해 샘플링이나 제외를 적용하면 감사나 보안 사고 발생 시 꼭 필요한 '그 한 줄'의 로그가 유실되기 쉽습니다. 핵심 과제는 구조적인 해결입니다. 즉, 모든 레코드는 저렴하게 보관하면서, 비싼 다운스트림에는 꼭 필요한 시그널만 전송하는 이중화 구조를 만드는 것입니다.
작동 원리
- 1
모든 내용을 S3 + Iceberg로 아카이브
8가지 AWS 액세스 로그 형식(S3 server access, WAF, CloudFront, ALB, NLB, VPC Flow, Network Firewall, Route 53 Resolver)을 SQS, Firehose 또는 직접 HTTP를 통해 수신하고, WAL을 통해 내구성을 확보한 후 zstd 압축 원시 아카이브 형태로 자체 S3 버킷에 기록합니다. 규격화된 Parquet 레이크(Hive 파티셔닝, 선택적으로 S3 Tables 상의 Apache Iceberg)가 파생 뷰로 구축되어 Athena에서 바로 쿼리할 수 있습니다.
- 2
정책 DSL을 통해 시그널만 전송
정책 DSL을 통해 CloudWatch Logs, OpenSearch 또는 SIEM으로 전송할 이벤트(크리티컬 이벤트 매칭, 상위 N개 노이즈 IP, 집계 카운트, 샘플링 등)를 선언합니다. 새로운 규칙은 프로덕션 반영 전에 dry-run 모드로 먼저 실행하여 매칭 횟수만 모니터링할 수 있습니다. 설정은 부팅 시 preflight 과정에서 lint 검증을 거치므로, 잘못된 정책으로 인해 서비스가 작동되는 일은 없습니다.
- 3
절감액 시각화 및 감사 가능성
내장 대시보드(SSM 포트 포워딩을 통해 액세스하는 루프백 관리 API)는 다운스트림으로 전송하지 않은 GB와 비용을 지속적으로 집계합니다. 일일 Merkle 증명 매니페스트는 아카이브의 완전성을 기록하며, 제3자 감사인이 오프라인에서 검증할 수 있습니다.
주요 특징
S3 + Apache Iceberg(zstd + Parquet)에 완전한 충실도의 액세스 로그를 유지하면서 CloudWatch Logs / SIEM 수집 GB 50–90% 절감.
dry-run 규칙 및 preflight lint 검증이 포함된 정책 DSL, 제3자 감사를 위한 Merkle 원시 아카이브 증명.
14일 무료 평가판이 포함된 종량 과금제 Marketplace AMI: AWS Marketplace Metering Service를 통해 표준화된 GB당 측정, 라이선스 키 불필요, IMDSv2 강제 적용, 기본 SSE-KMS.
포함 사항
- 8가지 로그 파서: S3 server access, AWS WAF, CloudFront, ALB, NLB, VPC Flow, Network Firewall, Route 53 Resolver
- CloudWatch Logs / OpenSearch / SIEM 대상을 포함한 7가지 포워더 및 S3 DLQ를 통한 재시도 제어
- zstd 원시 아카이브 + 규격화된 Parquet 레이크(Hive 파티셔닝, 선택적으로 S3 Tables 상의 Apache Iceberg)
- dry-run 규칙 및 preflight lint 검증이 포함된 정책 DSL
- 비용 절감 대시보드 + Prometheus 스타일 /metrics(관리 API는 루프백 전용, SSM 포트 포워딩 권장)
- 일일 Merkle 증명(선택적으로 보조 리전 버킷에 앵커링)
- CloudFormation / Terraform 빠른 시작, 강화된 systemd 유닛, IMDSv2 강제 적용, 기본 SSE-KMS
주요 활용 사례
CloudWatch Logs 수집량 절감: 모든 데이터는 S3로 가고, 알림이 필요한 시그널만 CloudWatch로 전달
SIEM(Splunk / Datadog / OpenSearch) 수집 계층화: 레이크에는 완전한 충실도로, SIEM에는 선별된 이벤트만 전송
감사 규제를 받는 운영사(FinTech, SaaS, EC): 완전한 보관 및 포렌식, Iceberg / Athena를 통해 언제든지 쿼리 가능
대용량 WAF / CloudFront 로그에서 노이즈 IP 및 공격 패턴을 집계하여 다운스트림으로 전송
자주 묻는 질문
어떤 로그 소스를 지원하나요?
S3 server access logs, AWS WAF, CloudFront, ALB, NLB, VPC Flow Logs, Network Firewall, Route 53 Resolver의 8가지 소스를 지원합니다. 수집 경로는 SQS(S3 이벤트), Firehose HTTP 엔드포인트 및 인증된 직접 HTTP의 3가지가 있습니다.
요금 체계는 어떻게 되나요?
종량 과금제: 수집된 표준화 GB당 $0.010가 AWS Marketplace Metering Service를 통해 측정됩니다(시간당 소프트웨어 요금 없음). 여기에 사용자 계정의 EC2 인스턴스 비용이 추가됩니다. 14일 무료 평가판이 제공되며, Private Offer를 통해 GB당 단가 할인 및 연간 약정이 가능합니다.
x86_64 버전도 지원하나요?
네. 이 페이지는 arm64 (Graviton) 리스팅을 설명하며, x86_64 (t3 / m7i / c7i / r7i)는 동일한 GB당 종량 과금이 적용되는 별도의 컴패니언 리스팅으로 제공됩니다.
데이터는 어디에 저장되나요?
전적으로 사용자 본인의 AWS 계정에 있는 S3 버킷에 저장됩니다. 기본적으로 SSE-KMS가 적용되며, 아카이브 대상 리전은 allow-list를 통해 강제됩니다. 텔레메트리는 선택 동의(opt-in) 방식으로만 제공되며, 어떠한 데이터도 사용자 계정 밖으로 전송되지 않습니다.
대시보드에 어떻게 접속하나요?
관리 API와 대시보드는 루프백(127.0.0.1:8080)으로만 대기합니다. 인바운드 보안 그룹 규칙을 추가할 필요 없이, SSM Session Manager의 포트 포워딩을 통해 접속합니다.
요금제 모델
종량 과금: 수집된 표준화 GB당 $0.010(AWS Marketplace Metering Service를 통해 측정) + 자체 EC2 비용. 14일 무료 평가판, 라이선스 키 불필요. Private Offer를 통해 GB당 요금 및 연간 약정 맞춤 설정 가능. x86_64는 별도의 컴패니언 리스팅으로 제공.
