S4 Logs
CloudWatch Logs nach zstd S3 archivieren
CloudWatch Logs-Rechnung um 70–90% senken: Multi-Account-Drain nach zstd S3, WORM/Object Lock-Compliance und ein Kostendashboard.
S4 Logs Commercial archiviert CloudWatch Logs in zstd-komprimiertes S3 und vermeidet Ingest-Kosten mit einem PutLogEvents-kompatiblen Gateway. Die Commercial-Schicht ergänzt AWS Organizations Multi-Account-Drain, S3 Object Lock (Governance und Compliance, SEC 17a-4) WORM-Aufbewahrung sowie ein Dashboard für Kosteneinsparungen und Restore-Suche. Archive bleiben mit einfachem zstd und Athena lesbar — kein Lock-in.
Das Problem
CloudWatch Logs berechnet $0.50/GB für den Ingest und $0.03/GB-Monat für die Speicherung. Die meisten Logs werden einmal geschrieben und fast nie wieder gelesen, sodass Sie weiterhin für die Speicherung von Daten bezahlen, die niemand abfragt. Bereits bezahlte Ingest-Kosten sind nicht erstattungsfähig, sodass ein wachsendes Log-Volumen die Rechnung Monat für Monat in die Höhe treibt.
Funktionsweise
- 1
Drain oder Bypass an der Quelle
Drainen Sie bestehende Log-Gruppen mit Mode A, oder verweisen Sie Agenten auf das PutLogEvents-kompatible Gateway (Mode B) — ausschließlich über ein Endpoint-Override und ohne Anwendungsänderungen.
- 2
Als zstd auf S3 archivieren
Ereignisse werden als standardmäßig zstd-komprimiertes JSONL mit Byte-Range- und Zeitstempel-Index-Sidecars auf S3 geschrieben, zu Speicherkosten, die ein bis zwei Größenordnungen unter CloudWatch liegen.
- 3
Suchen und Wiederherstellen nach Bedarf
Grep und Restore lesen über S3-Range-Reads nur die Frames, die eine Abfrage benötigt. Sie können das Archiv direkt in Athena abfragen, und das Dashboard zeigt Ihre Einsparungen.
Highlights
AWS Organizations Multi-Account-Drain in ein einziges lock-in-freies Archiv.
WORM / S3 Object Lock (Governance + Compliance), vor dem Sperren verifiziert.
Cost-Savings-Dashboard + Restore-Such-UI (Single Binary).
Lieferumfang
- PutLogEvents-kompatibles Gateway plus Mode-A-Drain- und Mode-B-Bypass-Routing
- AWS Organizations Multi-Account-Drain, der sich über STS-Assume-Role aufteilt und in einen einzigen aggregierten Bucket mündet
- WORM-Aufbewahrung per S3 Object Lock in den Governance- und Compliance-Modi (SEC 17a-4) mit einem Audit-Log pro Objekt
- Dashboard für Kosteneinsparungen und Restore-Suche als eine einzige, eigenständige Binärdatei mit eingebetteten Assets
- Archive bleiben reines zstd und Athena-lesbar, ohne dass S4-Tooling zum Lesen Ihrer Daten erforderlich ist
- Die auf dem AMI mitgelieferte Open-Source-s4logs-CLI (drain, serve, grep, restore, report, plan)
- One-Click-CloudFormation, die einen Bucket mit aktiviertem Object Lock, eine IAM-Rolle und den Dashboard-Host bereitstellt
Anwendungsfälle
CloudWatch Logs aus allen Accounts einer AWS Organization in einem einzigen Bucket zentralisieren und archivieren
Regulierte Logs unter SEC 17a-4 WORM-Aufbewahrung halten, die niemand, einschließlich des Root-Accounts, ändern oder vorzeitig löschen kann
Die Rechnung für Accounts mit hohem Ingest-Volumen reduzieren, indem Log-Traffic über das Gateway geleitet wird, um die Ingest-Gebühr von $0.50/GB zu vermeiden
Den Speicherposten für einmal geschriebene, selten gelesene Log-Gruppen reduzieren und anschließend die CloudWatch-Aufbewahrungszeit sicher verkürzen
FAQ
Wie viel spare ich tatsächlich?
Das hängt vom Modus ab. Mode B umgeht den Ingest, die dominierenden Kosten, und kann die Rechnung um etwa 70–90% senken, da die Ingest-Gebühr von $0.50/GB dominiert. Mode A allein reduziert nur den Speicherposten, etwa 50–70% auf S3 Standard und bis zu ~90% mit Glacier Instant Retrieval, und bereits gezahlte Ingest-Gebühren sind nicht erstattungsfähig.
Sind meine Daten an Ihr Produkt gebunden?
Nein. Archive sind verkettete, standardmäßige RFC-8878-zstd-Frames, die JSONL enthalten. Sie sind mit zstd -dc lesbar und direkt in Athena abfragbar, ohne dass S4-Tooling erforderlich ist. Das On-Disk-Format ist für die 1.x-Serie eingefroren, sodass Ihre Daten auch nach Kündigung des Abonnements vollständig lesbar bleiben.
Erfüllt es Compliance- und WORM-Anforderungen?
Ja. Der lock-Befehl wendet S3 Object Lock im Governance- oder Compliance-Modus an; der Compliance-Modus ist irreversibel und kann von niemandem, einschließlich des Root-Accounts, gelöscht oder verkürzt werden, was Richtlinien wie SEC 17a-4 unterstützt. Jedes Objekt wird vor dem Sperren anhand seines Manifests auf Integrität geprüft.
Funktioniert es über mehrere AWS-Accounts hinweg?
Ja. Der Organizations-Multi-Account-Drain listet Mitglieds-Accounts auf (alle, nach OU oder eine explizite Liste), nimmt in jedem über STS eine Cross-Account-Rolle an und draint sie in einen einzigen aggregierten Bucket, partitioniert nach Account-ID.
Wo läuft es und müssen meine Anwendungen geändert werden?
Es läuft als AMI in Ihrem eigenen AWS-Account und Ihrer VPC, abgerechnet stündlich plus jährlich über den Marketplace, ohne Lizenzschlüsselprüfung und ohne dass Daten Ihren Account verlassen. Anwendungen müssen nicht geändert werden: Das Gateway spricht das PutLogEvents-Wire-Protokoll von CloudWatch Logs, sodass Fluent Bit, der CloudWatch-Agent oder ein SDK mit nur einem Endpoint-Override migriert werden können.
Preismodell
Stündliche Softwaregebühr + EC2 (t3 / m5-Klasse). Verbrauchsabhängig nach Instanztyp, Jahresoption verfügbar.
Weitere S4-Produkte
S4 — Squished S3
Transparenter GPU S3-Komprimierungs-Gateway
S4 Metrics
CloudWatch Metric-Cardinality steuern
S4 NAT
Kostenoptimiertes NAT für Amazon VPC