S4 AccessLake
Todos os logs para S3 + Iceberg, apenas o sinal downstream
Quando isso se paga?
O retorno depende da linha de custo e do escopo de substituição
O retorno deste produto depende do seu gasto atual na AWS, do escopo de substituição e do ambiente de execução. Use o simulador de fatura para identificar linhas de custo correspondentes e uma estimativa aproximada.
EC2 AMI de um gateway lakehouse de logs de acesso da AWS que fica entre suas fontes de logs e o CloudWatch Logs / OpenSearch / SIEM. Ele arquiva cada registro com fidelidade total no seu próprio S3 como zstd + Apache Parquet + Apache Iceberg e encaminha apenas o sinal downstream — reduzindo o volume de ingestão em 50–90% sem perder um único registro.
O S4 AccessLake fica entre suas fontes de logs da AWS (S3 server access logs, AWS WAF, CloudFront, ALB, NLB, VPC Flow Logs, Network Firewall, Route 53 Resolver) e os destinos caros para onde eles normalmente fluem (CloudWatch Logs, OpenSearch, SIEM). Ele arquiva o fluxo de logs com fidelidade total como zstd + Apache Parquet + Apache Iceberg em seus próprios buckets do S3, encaminhando apenas os sinais que você realmente precisa — eventos críticos, top-N IPs barulhentos, contagens agregadas, rastreamentos amostrados. O resultado: 50–90% menos GB de ingestão no CloudWatch / SIEM, mantendo todos os registros para auditoria, resposta a incidentes e análise forense. Um painel de custos integrado quantifica suas economias em tempo real, uma DSL de política (regras dry-run + validação de lint em preflight) controla o que flui para onde, e a atestação ancorada em Merkle permite que terceiros verifiquem offline se o arquivo está completo.
O problema
Os logs de acesso de WAF, CloudFront, ALB, VPC Flow e afins tornam o preço da ingestão o item dominante na fatura assim que você envia tudo para o CloudWatch Logs ou para um SIEM (Splunk, Datadog, OpenSearch). Mas reduzir o volume com amostragem ou exclusões é a receita para que a única linha que você precisa durante uma auditoria ou incidente desapareça. O problema é estrutural: manter todos os registros de forma barata e enviar apenas o sinal para o dispendioso downstream.
Como funciona
- 1
Arquivar tudo no S3 + Iceberg
Oito formatos de logs de acesso da AWS (S3 server access, WAF, CloudFront, ALB, NLB, VPC Flow, Network Firewall, Route 53 Resolver) chegam via SQS, Firehose ou HTTP direto, tornam-se duráveis em um WAL e, em seguida, são gravados no seu próprio bucket do S3 como um arquivo bruto zstd. Um lago Parquet normalizado (particionado por Hive; opcionalmente Apache Iceberg no S3 Tables) é construído como uma visualização derivada, consultável diretamente do Athena.
- 2
Encaminhar apenas o sinal via DSL de política
Você declara em uma DSL de política quais eventos vão para o CloudWatch Logs, OpenSearch ou seu SIEM: eventos críticos correspondentes, top-N IPs barulhentos, contagens agregadas, amostras. Novas regras podem ser executadas primeiro como dry-run — as ocorrências sont contadas, mas nada é encaminhado — antes da promoção. As configurações são validadas por lint no preflight de inicialização, portanto, uma política corrompida nunca começa a rodar.
- 3
Visibilidade de economias e auditabilidade
O painel integrado (API de administração de loopback, acessada via redirecionamento de porta SSM) soma continuamente os GB e dólares que você não envia mais downstream. Um manifesto diário de atestação Merkle registra a integridade do arquivo, verificável offline por auditores terceirizados.
Destaques
Redução de 50–90% nos GB de ingestão do CloudWatch Logs / SIEM, mantendo os logs de acesso com fidelidade total no S3 + Apache Iceberg (zstd + Parquet).
DSL de política com regras dry-run e validação de lint em preflight; atestação de arquivo bruto ancorada em Merkle para auditoria de terceiros.
AMI do Marketplace com preço por uso e teste gratuito de 14 dias: medido por GB normalizado via AWS Marketplace Metering Service; sem chaves de licença, IMDSv2 obrigatório, SSE-KMS por padrão.
O que está incluído
- 8 analisadores de log: S3 server access, AWS WAF, CloudFront, ALB, NLB, VPC Flow, Network Firewall, Route 53 Resolver
- 7 encaminhadores, incluindo destinos CloudWatch Logs / OpenSearch / SIEM, com controle de novas tentativas e uma S3 DLQ
- Arquivo bruto zstd + lago Parquet normalizado (particionado por Hive; opcionalmente Apache Iceberg no S3 Tables)
- DSL de política com regras dry-run e validação de lint em preflight
- Painel de economias + /metrics no estilo Prometheus (a API de administração é apenas em loopback; recomenda-se o redirecionamento de porta SSM)
- Atestação diária Merkle (opcionalmente ancorada em um bucket de segunda região)
- Início rápido do CloudFormation / Terraform, unidade systemd protegida, IMDSv2 obrigatório, SSE-KMS por padrão
Casos de uso
Reduza a ingestão do CloudWatch Logs: tudo cai no S3, apenas o sinal digno de alerta continua para o CloudWatch
Nivelamento de ingestão do SIEM (Splunk / Datadog / OpenSearch): fidelidade total no lago, apenas eventos selecionados no SIEM
Operadores regulados por auditoria (FinTech, SaaS, EC): retenção total mais análise forense, consultável a qualquer momento via Iceberg / Athena
Agregue IPs barulhentos e padrões de ataque de logs de alto volume do WAF / CloudFront antes que eles atinjam o downstream
FAQ
Quais fontes de logs são suportadas?
Oito fontes: S3 server access logs, AWS WAF, CloudFront, ALB, NLB, VPC Flow Logs, Network Firewall e Route 53 Resolver. Os caminhos de ingestão são SQS (eventos S3), um endpoint HTTP do Firehose e HTTP direto autenticado.
Como é calculado o preço?
Preço por uso: $0.010 por GB normalizado ingerido, medido via AWS Marketplace Metering Service (não há cobrança por hora de software). Você paga adicionalmente o custo da instância de EC2 na sua própria conta. Um teste gratuito de 14 dias está incluído, e as Private Offers podem personalizar tarifas por GB e compromissos anuais.
O x86_64 está disponível?
Sim. Esta página cobre a oferta para arm64 (Graviton); o x86_64 (t3 / m7i / c7i / r7i) é fornecido como uma listagem complementar separada com a mesma cobrança por uso por GB.
Onde meus dados são armazenados?
Totalmente em buckets do S3 na sua própria conta da AWS. SSE-KMS por padrão, e a região de arquivamento é imposta com base em uma allow-list. A telemetria é estritamente opt-in; nenhum dado sai da sua conta.
Como acesso o painel?
A API de administração e o painel vinculam-se apenas ao loopback (127.0.0.1:8080). Você os acessa via redirecionamento de porta do SSM Session Manager — nenhuma regra de grupo de segurança de entrada é necessária.
Modelo de precificação
Preço por uso: $0.010 por GB normalizado ingerido (medido via AWS Marketplace Metering Service) + seu próprio custo de EC2. Teste gratuito de 14 dias, sem chaves de licença. As Private Offers personalizam as tarifas por GB e os compromissos anuais. O x86_64 é fornecido como uma oferta complementar.
Outros produtos S4
S4 — Squished S3
Gateway transparente de compressão S3 com GPU
S4 Logs
Arquive CloudWatch Logs em S3 com zstd
S4 Metrics
Controle a cardinalidade de métricas do CloudWatch