S4 AccessLake
Tous les logs vers S3 + Iceberg, uniquement le signal en aval
Quand est-ce amorti ?
L’amortissement dépend de la ligne de coût et du périmètre remplacé
L’amortissement de ce produit dépend de vos dépenses AWS actuelles, du périmètre remplacé et de l’environnement d’exécution. Utilisez le simulateur de facture pour identifier les lignes applicables et une estimation approximative.
AMI EC2 d'une passerelle lakehouse de logs d'accès AWS qui se positionne entre vos sources de logs et CloudWatch Logs / OpenSearch / SIEM. Elle archive chaque enregistrement en haute fidélité dans votre propre S3 sous forme de zstd + Apache Parquet + Apache Iceberg, et ne transfère que le signal en aval, réduisant le volume d'ingestion de 50–90% sans perdre un seul enregistrement.
S4 AccessLake se positionne entre vos sources de logs AWS (S3 server access logs, AWS WAF, CloudFront, ALB, NLB, VPC Flow Logs, Network Firewall, Route 53 Resolver) et les destinations coûteuses vers lesquelles ils transitent habituellement (CloudWatch Logs, OpenSearch, SIEM). Il archive le flux de logs en haute fidélité sous forme de zstd + Apache Parquet + Apache Iceberg dans vos propres buckets S3, puis ne transfère que les signaux dont vous avez réellement besoin : événements critiques, top-N des IP bruyantes, comptages agrégés et traces échantillonnées. Le résultat : une réduction de 50–90% des Go d'ingestion CloudWatch / SIEM tout en conservant chaque enregistrement pour l'audit, la réponse aux incidents et l'analyse légale. Un tableau de bord des coûts intégré quantifie vos économies en temps réel, une DSL de politique (règles dry-run + validation lint en preflight) contrôle les flux, et une attestation ancrée sur Merkle permet à des tiers de vérifier hors ligne l'exhaustivité de l'archive.
Le problème
Les logs d'accès de WAF, CloudFront, ALB, VPC Flow et consorts font de la tarification d'ingestion le poste de dépense dominant dès lors que vous envoyez tout vers CloudWatch Logs ou un SIEM (Splunk, Datadog, OpenSearch). Or, réduire le volume par échantillonnage ou exclusion risque de faire disparaître la ligne unique dont vous aurez besoin lors d'un audit ou d'un incident. Le problème est structurel : conserver chaque enregistrement à moindre coût et n'envoyer que le signal en aval vers les systèmes coûteux.
Fonctionnement
- 1
Tout archiver sur S3 + Iceberg
Huit formats de logs d'accès AWS (S3 server access, WAF, CloudFront, ALB, NLB, VPC Flow, Network Firewall, Route 53 Resolver) arrivent via SQS, Firehose ou HTTP direct, sont sécurisés dans un WAL, puis écrits dans votre propre bucket S3 sous forme d'archive brute zstd. Un lac Parquet normalisé (partitionné Hive ; en option Apache Iceberg sur S3 Tables) est construit comme vue dérivée, requêtable directement depuis Athena.
- 2
Transférer uniquement le signal via la DSL de politique
Vous déclarez dans une DSL de politique quels événements sont transmis à CloudWatch Logs, OpenSearch ou votre SIEM : événements critiques correspondants, top-N des IP bruyantes, comptages agrégés, échantillons. Les nouvelles règles peuvent d'abord être exécutées en mode dry-run – les correspondances sont comptabilisées mais rien n'est transféré – avant leur mise en production. Les configurations sont validées par lint lors du preflight de démarrage, de sorte qu'une politique défaillante ne soit jamais mise en service.
- 3
Visibilité des économies et auditabilité
Le tableau de bord intégré (API d'administration de boucle locale, accessible via la redirection de port SSM) comptabilise en continu les Go et les dollars que vous n'envoyez plus en aval. Un manifeste d'attestation quotidien Merkle enregistre l'exhaustivité de l'archive, vérifiable hors ligne par des auditeurs tiers.
Points forts
Réduction de 50–90% des Go d'ingestion CloudWatch Logs / SIEM tout en conservant les logs d'accès en haute fidélité sur S3 + Apache Iceberg (zstd + Parquet).
DSL de politique avec règles dry-run et validation lint en preflight ; attestation d'archives brutes ancrée sur Merkle pour les audits tiers.
AMI Marketplace facturée à l'usage avec essai gratuit de 14 jours : mesure par Go normalisé via AWS Marketplace Metering Service ; pas de clé de licence, IMDSv2 appliqué, SSE-KMS par défaut.
Ce qui est inclus
- 8 parseurs de logs : S3 server access, AWS WAF, CloudFront, ALB, NLB, VPC Flow, Network Firewall, Route 53 Resolver
- 7 redirecteurs, y compris les cibles CloudWatch Logs / OpenSearch / SIEM, avec contrôle des tentatives et une S3 DLQ
- Archive brute zstd + lac Parquet normalisé (partitionné Hive ; en option Apache Iceberg sur S3 Tables)
- DSL de politique avec règles dry-run et validation lint en preflight
- Tableau de bord des économies + /metrics de style Prometheus (l'API d'administration est en boucle locale uniquement ; redirection de port SSM recommandée)
- Attestation quotidienne Merkle (facultativement ancrée dans un bucket d'une deuxième région)
- Démarrages rapides CloudFormation / Terraform, unité systemd renforcée, IMDSv2 appliqué, SSE-KMS par défaut
Cas d'usage
Réduire l'ingestion CloudWatch Logs : tout arrive sur S3, seul le signal digne d'une alerte continue vers CloudWatch
Hiérarchisation de l'ingestion SIEM (Splunk / Datadog / OpenSearch) : haute fidélité dans le lac, uniquement les événements sélectionnés dans le SIEM
Opérateurs soumis à des audits réglementaires (FinTech, SaaS, EC) : rétention complète et analyse légale, requêtable à tout moment via Iceberg / Athena
Agrégateur d'IP bruyantes et de modèles d'attaque à partir des logs volumineux de WAF / CloudFront avant qu'ils n'atteignent l'aval
FAQ
Quelles sont les sources de logs prises en charge ?
Huit sources : S3 server access logs, AWS WAF, CloudFront, ALB, NLB, VPC Flow Logs, Network Firewall et Route 53 Resolver. Les chemins d'ingestion sont SQS (événements S3), un point de terminaison HTTP Firehose et HTTP direct authentifié.
Comment les tarifs sont-ils calculés ?
Tarification à l'usage : $0.010 par Go normalisé ingéré, mesuré via le AWS Marketplace Metering Service (il n'y a pas de frais de logiciel horaires). Vous payez en plus le coût de l'instance EC2 sur votre propre compte. Un essai gratuit de 14 jours est inclus, et les Private Offers permettent de personnaliser les tarifs par Go et les engagements annuels.
La version x86_64 est-elle disponible ?
Oui. Cette page concerne l'offre arm64 (Graviton) ; la version x86_64 (t3 / m7i / c7i / r7i) est disponible sous forme d'offre complémentaire distincte avec le même tarif à l'usage par Go.
Où sont stockées mes données ?
Entièrement dans des buckets S3 de votre propre compte AWS. SSE-KMS par défaut, et la région d'archivage est imposée via une allow-list. La télémétrie est uniquement sur consentement (opt-in) ; aucune donnée ne quitte votre compte.
Comment puis-je accéder au tableau de bord ?
L'API d'administration et le tableau de bord sont liés à la boucle locale uniquement (127.0.0.1:8080). Vous y accédez via la redirection de port de SSM Session Manager – aucune règle de groupe de sécurité entrante n'est requise.
Modèle de tarification
Tarification à l'usage : $0.010 par Go normalisé ingéré (mesuré via AWS Marketplace Metering Service) + vos propres coûts EC2. Essai gratuit de 14 jours, pas de clé de licence. Les Private Offers permettent de personnaliser les tarifs par Go et les engagements annuels. x86_64 est fourni sous forme d'offre complémentaire distincte.
Autres produits S4
S4 — Squished S3
Gateway transparent de compression S3 par GPU
S4 Logs
Archiver CloudWatch Logs vers S3 zstd
S4 Metrics
Gouverner la cardinalité des métriques CloudWatch