S4 AccessLake
Jedes Log an S3 + Iceberg, nur die Signale nachgelagert
Wann amortisiert sich das?
Amortisation hängt von Kostenposten und Ersatzumfang ab
Die Amortisation dieses Produkts hängt von Ihren aktuellen AWS-Ausgaben, dem Ersatzumfang und der Laufzeitumgebung ab. Nutzen Sie den Rechnungsrechner, um passende Kostenposten und eine grobe Einsparschätzung zu ermitteln.
EC2 AMI eines AWS-Zugriffslog-Lakehouse-Gateways, das sich zwischen Ihren Log-Quellen und CloudWatch Logs / OpenSearch / SIEM befindet. Es archiviert jeden Datensatz in voller Originaltreue in Ihrem eigenen S3 als zstd + Apache Parquet + Apache Iceberg und leitet nur die Signale nachgelagert weiter – wodurch das Ingest-Volumen um 50–90% reduziert wird, ohne einen einzigen Datensatz zu verlieren.
S4 AccessLake sitzt zwischen Ihren AWS-Log-Quellen (S3 server access logs, AWS WAF, CloudFront, ALB, NLB, VPC Flow Logs, Network Firewall, Route 53 Resolver) und den hochpreisigen Zielen, in die sie normalerweise fließen (CloudWatch Logs, OpenSearch, SIEM). Es archiviert den Log-Stream in voller Originaltreue als zstd + Apache Parquet + Apache Iceberg in Ihren eigenen S3-Buckets und leitet dann nur die Signale weiter, die Sie tatsächlich benötigen – kritische Ereignisse, Top-N laute IPs, aggregierte Zählungen, gesampelte Traces. Das Ergebnis: 50–90% weniger CloudWatch / SIEM-Ingest-GB, während jeder Datensatz für Audit, Incident Response und Forensik aufbewahrt wird. Ein integriertes Kosten-Dashboard quantifiziert Ihre Einsparungen in Echtzeit, eine Policy-DSL (dry-run-Regeln + preflight-lint-Validierung) steuert, was wohin fließt, und eine durch Merkle verankerte Attestierung ermöglicht es Dritten, offline zu überprüfen, ob das Archiv vollständig ist.
Das Problem
Zugriffslogs von WAF, CloudFront, ALB, VPC Flow und Co. machen die Ingest-Preise zum dominierenden Posten, sobald Sie alles an CloudWatch Logs oder ein SIEM (Splunk, Datadog, OpenSearch) senden. Aber die Reduzierung des Volumens durch Sampling oder Ausschlüsse führt oft dazu, dass genau die eine Zeile fehlt, die Sie während eines Audits oder Vorfalls benötigen. Das Problem ist struktureller Natur: Bewahren Sie jeden Datensatz kostengünstig auf und senden Sie nur das Signal an die teure nachgelagerte Infrastruktur.
Funktionsweise
- 1
Alles in S3 + Iceberg archivieren
Acht AWS-Zugriffslog-Formate (S3 server access, WAF, CloudFront, ALB, NLB, VPC Flow, Network Firewall, Route 53 Resolver) gehen über SQS, Firehose oder direktes HTTP ein, werden in einem WAL dauerhaft gespeichert und dann als zstd-Roharchiv in Ihren eigenen S3-Bucket geschrieben. Ein normalisierter Parquet-Lake (mit Hive-Partitionierung, optional Apache Iceberg auf S3 Tables) wird als abgeleitete Ansicht erstellt und kann direkt über Athena abgefragt werden.
- 2
Über die Policy-DSL nur die Signale weiterleiten
Sie deklarieren in einer Policy-DSL, welche Ereignisse an CloudWatch Logs, OpenSearch oder Ihr SIEM weitergeleitet werden: übereinstimmende kritische Ereignisse, Top-N laute IPs, aggregierte Zählungen, Samples. Neue Regeln können vor der Produktivschaltung zuerst als dry-run ausgeführt werden – Treffer werden gezählt, aber nichts wird weitergeliefert. Konfigurationen werden beim Boot-preflight per lint validiert, sodass eine fehlerhafte Richtlinie niemals den Betrieb aufnimmt.
- 3
Transparenz über Einsparungen und Auditierbarkeit
Das integrierte Dashboard (Loopback-Admin-API, erreichbar über SSM-Portweiterleitung) summiert kontinuierlich die GB und Dollar, die Sie nicht mehr nachgelagert senden. Ein tägliches Merkle-Attestierungsmanifest zeichnet die Vollständigkeit des Archivs auf, die von externen Auditoren offline überprüft werden kann.
Highlights
50–90% Reduzierung der CloudWatch Logs / SIEM-Ingest-GB, während die Zugriffslogs in voller Originaltreue auf S3 + Apache Iceberg (zstd + Parquet) aufbewahrt werden.
Policy-DSL mit dry-run-Regeln und preflight-lint-Validierung; durch Merkle verankerte Roharchiv-Attestierung für Audits durch Dritte.
Verbrauchsabhängig abgerechnetes Marketplace-AMI mit einer 14-tägigen kostenlosen Testversion: Abrechnung pro normalisiertem GB über AWS Marketplace Metering Service; keine Lizenzschlüssel, IMDSv2 erzwungen, standardmäßig SSE-KMS.
Lieferumfang
- 8 Log-Parser: S3 server access, AWS WAF, CloudFront, ALB, NLB, VPC Flow, Network Firewall, Route 53 Resolver
- 7 Forwarder einschließlich CloudWatch Logs / OpenSearch / SIEM-Zielen, mit Wiederholungssteuerung und einer S3 DLQ
- zstd-Roharchiv + normalisierter Parquet-Lake (Hive-partitioniert; optional Apache Iceberg auf S3 Tables)
- Policy-DSL mit dry-run-Regeln und preflight-lint-Validierung
- Kostenersparnis-Dashboard + Prometheus-kompatible /metrics (Admin-API ist loopback-only; SSM-Portweiterleitung empfohlen)
- Tägliche Merkle-Attestierung (optional in einem Bucket einer zweiten Region verankert)
- CloudFormation / Terraform-Schnellstarts, gehärtete systemd-Unit, IMDSv2 erzwungen, standardmäßig SSE-KMS
Anwendungsfälle
CloudWatch Logs-Ingest reduzieren: Alles landet auf S3, nur alarmierungswürdige Signale gehen weiter an CloudWatch
SIEM-Ingest-Tiering (Splunk / Datadog / OpenSearch): Volle Originaltreue im Lake, nur kuratierte Ereignisse ins SIEM
Audit-regulierte Betreiber (FinTech, SaaS, EC): vollständige Aufbewahrung plus Forensik, jederzeit über Iceberg / Athena abfragbar
Aggregieren Sie laute IPs und Angriffsmuster aus volumenstarken WAF / CloudFront-Logs, bevor sie nachgelagert werden
FAQ
Welche Log-Quellen werden unterstützt?
Acht Quellen: S3 server access logs, AWS WAF, CloudFront, ALB, NLB, VPC Flow Logs, Network Firewall und Route 53 Resolver. Die Ingest-Pfade sind SQS (S3-Events), ein Firehose HTTP-Endpunkt und authentifiziertes direktes HTTP.
Wie erfolgt die Preisgestaltung?
Verbrauchsabhängig: $0.010 pro normalisiertem Ingest-GB, abgerechnet über den AWS Marketplace Metering Service (es fallen keine stündlichen Softwaregebühren an). Zusätzlich zahlen Sie die EC2-Instanzkosten in Ihrem eigenen Konto. Eine 14-tägige kostenlose Testversion ist enthalten, und über Private Offers können Tarife pro GB sowie jährliche Verpflichtungen individuell angepasst werden.
Ist x86_64 verfügbar?
Ja. Diese Seite gilt für das arm64 (Graviton)-Listing; x86_64 (t3 / m7i / c7i / r7i) wird als separates begleitendes Listing mit derselben verbrauchsabhängigen Abrechnung pro GB bereitgestellt.
Wo werden meine Daten gespeichert?
Ausschließlich in S3-Buckets in Ihrem eigenen AWS-Konto. Standardmäßig SSE-KMS, und die Archivregion wird über eine allow-list erzwungen. Telemetrie ist rein optional (opt-in); es verlassen keine Daten Ihr Konto.
Wie greife ich auf das Dashboard zu?
Die Admin-API und das Dashboard binden sich nur an Loopback (127.0.0.1:8080). Sie erreichen sie über die SSM Session Manager-Portweiterleitung – es ist keine eingehende Sicherheitsgruppenregel erforderlich.
Preismodell
Verbrauchsabhängige Preise: $0.010 pro normalisiertem Ingest-GB (abgerechnet über AWS Marketplace Metering Service) + Ihre eigenen EC2-Kosten. 14-tägige kostenlose Testversion, keine Lizenzschlüssel. Private Offers ermöglichen individuelle Tarife pro GB und jährliche Verpflichtungen. x86_64 wird als begleitendes Listing bereitgestellt.
Weitere S4-Produkte
S4 — Squished S3
Transparenter GPU S3-Komprimierungs-Gateway
S4 Logs
CloudWatch Logs nach zstd S3 archivieren
S4 Metrics
CloudWatch Metric-Cardinality steuern