S4 Logs
CloudWatch Logs nach zstd S3 archivieren
Wann amortisiert sich das?
Beispiel: 5.000 $/Monat CloudWatch-Logs-Ausgaben
Bei 5.000 $/Monat CloudWatch-Logs-Ausgaben entspricht eine Reduktion von 70–90% grob 3.500–4.500 $/Monat brutto vermiedener Nutzungsgebühren — vor S4-Softwaregebühr, EC2, Storage/Transfer und Workload-Unterschieden.
Ihre Einsparung schätzen
Geben Sie relevante monatliche Ausgaben oder Nutzung ein — kein Rechnungs-Upload nötig.
CloudWatch Logs-Rechnung um 70–90% senken: Multi-Account-Drain nach zstd S3, WORM/Object Lock-Compliance und ein Kostendashboard.
S4 Logs Commercial archiviert CloudWatch Logs in zstd-komprimiertes S3 und vermeidet Ingest-Kosten mit einem PutLogEvents-kompatiblen Gateway. Die Commercial-Schicht ergänzt AWS Organizations Multi-Account-Drain, S3 Object Lock (Governance und Compliance, SEC 17a-4) WORM-Aufbewahrung sowie ein Dashboard für Kosteneinsparungen und Restore-Suche. Archive bleiben mit einfachem zstd und Athena lesbar — kein Lock-in.
Das Problem
CloudWatch Logs berechnet $0.50/GB für den Ingest und $0.03/GB-Monat für die Speicherung. Die meisten Logs werden einmal geschrieben und fast nie wieder gelesen, sodass Sie weiterhin für die Speicherung von Daten bezahlen, die niemand abfragt. Bereits bezahlte Ingest-Kosten sind nicht erstattungsfähig, sodass ein wachsendes Log-Volumen die Rechnung Monat für Monat in die Höhe treibt.
Funktionsweise
- 1
Drain oder Bypass an der Quelle
Drainen Sie bestehende Log-Gruppen mit Mode A, oder verweisen Sie Agenten auf das PutLogEvents-kompatible Gateway (Mode B) — ausschließlich über ein Endpoint-Override und ohne Anwendungsänderungen.
- 2
Als zstd auf S3 archivieren
Ereignisse werden als standardmäßig zstd-komprimiertes JSONL mit Byte-Range- und Zeitstempel-Index-Sidecars auf S3 geschrieben, zu Speicherkosten, die ein bis zwei Größenordnungen unter CloudWatch liegen.
- 3
Suchen und Wiederherstellen nach Bedarf
Grep und Restore lesen über S3-Range-Reads nur die Frames, die eine Abfrage benötigt. Sie können das Archiv direkt in Athena abfragen, und das Dashboard zeigt Ihre Einsparungen.
Highlights
AWS Organizations Multi-Account-Drain in ein einziges lock-in-freies Archiv.
WORM / S3 Object Lock (Governance + Compliance), vor dem Sperren verifiziert.
Cost-Savings-Dashboard + Restore-Such-UI (Single Binary).
Lieferumfang
- PutLogEvents-kompatibles Gateway plus Mode-A-Drain- und Mode-B-Bypass-Routing
- AWS Organizations Multi-Account-Drain, der sich über STS-Assume-Role aufteilt und in einen einzigen aggregierten Bucket mündet
- WORM-Aufbewahrung per S3 Object Lock in den Governance- und Compliance-Modi (SEC 17a-4) mit einem Audit-Log pro Objekt
- Dashboard für Kosteneinsparungen und Restore-Suche als eine einzige, eigenständige Binärdatei mit eingebetteten Assets
- Archive bleiben reines zstd und Athena-lesbar, ohne dass S4-Tooling zum Lesen Ihrer Daten erforderlich ist
- Die auf dem AMI mitgelieferte Open-Source-s4logs-CLI (drain, serve, grep, restore, report, plan)
- One-Click-CloudFormation, die einen Bucket mit aktiviertem Object Lock, eine IAM-Rolle und den Dashboard-Host bereitstellt
Anwendungsfälle
CloudWatch Logs aus allen Accounts einer AWS Organization in einem einzigen Bucket zentralisieren und archivieren
Regulierte Logs unter SEC 17a-4 WORM-Aufbewahrung halten, die niemand, einschließlich des Root-Accounts, ändern oder vorzeitig löschen kann
Die Rechnung für Accounts mit hohem Ingest-Volumen reduzieren, indem Log-Traffic über das Gateway geleitet wird, um die Ingest-Gebühr von $0.50/GB zu vermeiden
Den Speicherposten für einmal geschriebene, selten gelesene Log-Gruppen reduzieren und anschließend die CloudWatch-Aufbewahrungszeit sicher verkürzen
FAQ
Wie viel spare ich tatsächlich?
Das hängt vom Modus ab. Mode B umgeht den Ingest, die dominierenden Kosten, und kann die Rechnung um etwa 70–90% senken, da die Ingest-Gebühr von $0.50/GB dominiert. Mode A allein reduziert nur den Speicherposten, etwa 50–70% auf S3 Standard und bis zu ~90% mit Glacier Instant Retrieval, und bereits gezahlte Ingest-Gebühren sind nicht erstattungsfähig.
Sind meine Daten an Ihr Produkt gebunden?
Nein. Archive sind verkettete, standardmäßige RFC-8878-zstd-Frames, die JSONL enthalten. Sie sind mit zstd -dc lesbar und direkt in Athena abfragbar, ohne dass S4-Tooling erforderlich ist. Das On-Disk-Format ist für die 1.x-Serie eingefroren, sodass Ihre Daten auch nach Kündigung des Abonnements vollständig lesbar bleiben.
Erfüllt es Compliance- und WORM-Anforderungen?
Ja. Der lock-Befehl wendet S3 Object Lock im Governance- oder Compliance-Modus an; der Compliance-Modus ist irreversibel und kann von niemandem, einschließlich des Root-Accounts, gelöscht oder verkürzt werden, was Richtlinien wie SEC 17a-4 unterstützt. Jedes Objekt wird vor dem Sperren anhand seines Manifests auf Integrität geprüft.
Funktioniert es über mehrere AWS-Accounts hinweg?
Ja. Der Organizations-Multi-Account-Drain listet Mitglieds-Accounts auf (alle, nach OU oder eine explizite Liste), nimmt in jedem über STS eine Cross-Account-Rolle an und draint sie in einen einzigen aggregierten Bucket, partitioniert nach Account-ID.
Wo läuft es und müssen meine Anwendungen geändert werden?
Es läuft als AMI in Ihrem eigenen AWS-Account und Ihrer VPC, abgerechnet stündlich plus jährlich über den Marketplace, ohne Lizenzschlüsselprüfung und ohne dass Daten Ihren Account verlassen. Anwendungen müssen nicht geändert werden: Das Gateway spricht das PutLogEvents-Wire-Protokoll von CloudWatch Logs, sodass Fluent Bit, der CloudWatch-Agent oder ein SDK mit nur einem Endpoint-Override migriert werden können.
Warum es günstiger ist
Annahme: 5 TB Log-Ingest pro Monat, 30 Tage Hot-Aufbewahrung, Textlogs mit etwa 10× zstd-Komprimierung in us-east-1.
- CloudWatch Logs Ingest (5 TB × $0,50/GB)
- $2,560 / Monat
- CloudWatch Logs Speicher (5 TB × 30 Tage)
- $155 / Monat
- Monatssumme
- $2,715 / Monat
- S3-Speicher (0,5 TB nach Komprimierung)
- $12 / Monat
- S4 Logs-Instanz (m5.large + Softwaregebühr)
- $100 / Monat
- Monatssumme
- $112 / Monat
S4 Logs-Instanz nach Ingest-Rate wählen
| Ingest-Rate | Empfohlene Instanz | S4 Logs-Instanzkosten | Monatssumme vs. CloudWatch Logs |
|---|---|---|---|
| ~1 TB / Mo. | t3.medium | $45 / Monat | $48 / Monat (CWL $543, −91 %) |
| ~5 TB / Mo. | m5.large | $100 / Monat | $112 / Monat (CWL $2.715, −96 %) |
| ~50 TB / Mo. | m5.2xlarge | $310 / Monat | $427 / Monat (CWL $27.140, −98 %) |
Illustratives Beispiel. CloudWatch Logs verwendet die us-east-1 Listenpreise (Ingest 0,50 $/GB + Speicher 0,03 $/GB-Monat); S3 und EC2 nutzen die On-Demand-Preise derselben Region. Die S4 Logs-Softwaregebühr wird stündlich über AWS Marketplace abgerechnet, getrennt von der EC2-Gebühr. Die 10× Komprimierung ist ein mittlerer Wert für Textlogs unter zstd (typischer Bereich 4–10×). Die tatsächlichen Einsparungen hängen vom Loginhalt, Retentionsfenster und der Häufigkeit langfristiger Suchen ab.
Preismodell
Stündliche Softwaregebühr + EC2 (t3 / m5-Klasse). Verbrauchsabhängig nach Instanztyp, Jahresoption verfügbar.
Weitere S4-Produkte
S4 — Squished S3
Transparenter GPU S3-Komprimierungs-Gateway
S4 Metrics
CloudWatch Metric-Cardinality steuern
S4 NAT
Kostenoptimiertes NAT für Amazon VPC