S4 AccessLake
Todos los logs a S3 + Iceberg, solo la señal aguas abajo
¿Cuándo se amortiza?
La amortización depende de la partida de coste y del alcance de sustitución
La amortización de este producto depende de su gasto actual en AWS, el alcance de sustitución y el entorno de ejecución. Use el simulador de factura para identificar partidas aplicables y una estimación aproximada.
EC2 AMI de una puerta de enlace de lakehouse de logs de acceso de AWS que se ubica entre sus fuentes de logs y CloudWatch Logs / OpenSearch / SIEM. Archiva cada registro con total fidelidad en su propio S3 como zstd + Apache Parquet + Apache Iceberg, y reenvía solo la señal aguas abajo, reduciendo el volumen de ingesta en un 50–90% sin perder un solo registro.
S4 AccessLake se ubica entre sus fuentes de logs de AWS (S3 server access logs, AWS WAF, CloudFront, ALB, NLB, VPC Flow Logs, Network Firewall, Route 53 Resolver) y los destinos de alto costo a los que normalmente fluyen (CloudWatch Logs, OpenSearch, SIEM). Archiva el flujo de logs de fidelidad completa como zstd + Apache Parquet + Apache Iceberg en sus propios buckets de S3, y luego reenvía solo las señales que realmente necesita: eventos críticos, las N IP más ruidosas, recuentos agregados y trazas muestreadas. El resultado: un 50–90% menos de GB de ingesta en CloudWatch / SIEM, al tiempo que conserva cada registro para auditoría, respuesta a incidentes y análisis forense. Un panel de costos integrado cuantifica sus ahorros en tiempo real, una DSL de políticas (reglas dry-run + validación de lint en preflight) controla qué fluye hacia dónde, y la atestación anclada en Merkle permite a terceros verificar sin conexión que el archivo esté completo.
El problema
Los logs de acceso de WAF, CloudFront, ALB, VPC Flow y similares hacen que el precio de la ingesta sea el elemento dominante en la factura una vez que se envía todo a CloudWatch Logs o a un SIEM (Splunk, Datadog, OpenSearch). Sin embargo, reducir el volumen mediante muestreo o exclusiones suele provocar que se pierda la única línea que se necesita durante una auditoría o un incidente. El problema es estructural: conservar cada registro de forma económica y enviar solo la señal a la costosa infraestructura aguas abajo.
Cómo funciona
- 1
Archivar todo en S3 + Iceberg
Ocho formatos de logs de acceso de AWS (S3 server access, WAF, CloudFront, ALB, NLB, VPC Flow, Network Firewall, Route 53 Resolver) llegan a través de SQS, Firehose o HTTP directo, se hacen duraderos en un WAL y luego se escriben en su propio bucket de S3 como un archivo sin procesar zstd. Se construye un lago Parquet normalizado (con particiones de Hive, opcionalmente Apache Iceberg en S3 Tables) como una vista derivada, consultable directamente desde Athena.
- 2
Reenviar solo la señal a través de la DSL de políticas
Usted declara en una DSL de políticas qué eventos se envían a CloudWatch Logs, OpenSearch o a su SIEM: eventos críticos coincidentes, las N IP más ruidosas, recuentos agregados, muestras. Las nuevas reglas pueden ejecutarse primero como dry-run (se cuentan las coincidencias pero no se reenvía nada) antes de su promoción. Las configuraciones son validadas por lint durante el preflight de arranque, por lo que una política rota nunca entra en servicio.
- 3
Visibilidad de ahorros y auditabilidad
El panel integrado (API de administración de bucle invertido, al que se accede mediante reenvío de puertos de SSM) calcula continuamente los GB y los dólares que ya no envía aguas abajo. Un manifiesto de atestación diario de Merkle registra la integridad del archivo, verificable sin conexión por auditores externos.
Características destacadas
Reducción del 50–90% en los GB de ingesta de CloudWatch Logs / SIEM mientras se mantienen los logs de acceso de fidelidad completa en S3 + Apache Iceberg (zstd + Parquet).
DSL de políticas con reglas dry-run y validación de lint en preflight; atestación de archivos sin procesar anclada en Merkle para auditorías de terceros.
AMI de Marketplace con precio por uso y prueba gratuita de 14 días: medido por GB normalizado a través de AWS Marketplace Metering Service; sin claves de licencia, IMDSv2 obligatorio, SSE-KMS por defecto.
Qué incluye
- 8 analizadores de logs: S3 server access, AWS WAF, CloudFront, ALB, NLB, VPC Flow, Network Firewall, Route 53 Resolver
- 7 reenviadores, incluidos destinos de CloudWatch Logs / OpenSearch / SIEM, con control de reintentos y una S3 DLQ
- Archivo sin procesar zstd + lago Parquet normalizado (con particiones de Hive; opcionalmente Apache Iceberg en S3 Tables)
- DSL de políticas con reglas dry-run y validación de lint en preflight
- Panel de ahorros + /metrics estilo Prometheus (la API de administración es solo de bucle invertido; se recomienda el reenvío de puertos de SSM)
- Atestación diaria de Merkle (opcionalmente anclada a un bucket de una segunda región)
- Inicios rápidos de CloudFormation / Terraform, unidad systemd endurecida, IMDSv2 obligatorio, SSE-KMS por defecto
Casos de uso
Reduzca la ingesta de CloudWatch Logs: todo llega a S3, solo la señal que genera alerta continúa hacia CloudWatch
Estratificación de la ingesta de SIEM (Splunk / Datadog / OpenSearch): fidelidad completa en el lago, solo eventos seleccionados en el SIEM
Operadores regulados por auditoría (FinTech, SaaS, EC): retención completa más análisis forense, consultable en cualquier momento a través de Iceberg / Athena
Agregue IP ruidosas y patrones de ataque de los logs de gran volumen de WAF / CloudFront antes de que lleguen aguas abajo
Preguntas frecuentes
¿Qué fuentes de logs son compatibles?
Ocho fuentes: S3 server access logs, AWS WAF, CloudFront, ALB, NLB, VPC Flow Logs, Network Firewall y Route 53 Resolver. Las rutas de ingesta son SQS (eventos S3), un endpoint HTTP de Firehose y HTTP directo autenticado.
¿Cómo se calcula el precio?
Precio por uso: $0.010 por GB normalizado ingerido, medido a través del AWS Marketplace Metering Service (no hay cargo por hora de software). Además, paga el costo de la instancia de EC2 en su propia cuenta. Se incluye una prueba gratuita de 14 días y las Private Offers pueden personalizar las tarifas por GB y los compromisos anuales.
¿Está disponible x86_64?
Sí. Esta página cubre la versión para arm64 (Graviton); x86_64 (t3 / m7i / c7i / r7i) se ofrece en un listado complementario separado con la misma tarifa de precio por uso por GB.
¿Dónde se guardan mis datos?
Totalmente en buckets de S3 en su propia cuenta de AWS. SSE-KMS por defecto, y la región de archivo se aplica mediante una allow-list. La telemetría es solo bajo consentimiento (opt-in); ningún dato sale de su cuenta.
¿Cómo accedo al panel?
La API de administración y el panel se vinculan únicamente al bucle invertido (127.0.0.1:8080). Puede acceder a ellos mediante el reenvío de puertos de SSM Session Manager, sin necesidad de reglas de grupo de seguridad entrantes.
Modelo de precios
Precios por uso: $0.010 por GB normalizado ingerido (medido a través de AWS Marketplace Metering Service) + su propio costo de EC2. Prueba gratuita de 14 días, sin claves de licencia. Las Private Offers permiten personalizar las tarifas por GB y los compromisos anuales. x86_64 se ofrece en un listado complementario.
Otros productos S4
S4 — Squished S3
Gateway transparente de compresión S3 con GPU
S4 Logs
Archiva CloudWatch Logs en S3 con zstd
S4 Metrics
Gobierna la cardinalidad de métricas de CloudWatch