S4 Logs
Arquive CloudWatch Logs em S3 com zstd
Quando isso se paga?
Exemplo: US$ 5.000/mês em CloudWatch Logs
Com US$ 5.000/mês em CloudWatch Logs, uma redução de 70–90% equivale a cerca de US$ 3.500–4.500/mês de cobrança bruta de uso evitada — antes da taxa de software S4, EC2, armazenamento/transferência e diferenças de workload.
Estime sua economia
Informe seu gasto ou uso mensal relevante para uma estimativa aproximada — sem upload de fatura.
Reduza sua conta de CloudWatch Logs em 70–90%: drain multi-account para S3 com zstd, conformidade WORM/Object Lock e dashboard de custos.
S4 Logs Commercial arquiva CloudWatch Logs em S3 comprimido com zstd e evita ingest com um gateway compatível com PutLogEvents. A camada comercial adiciona drain multi-account com AWS Organizations, retenção WORM com S3 Object Lock (Governance e Compliance, SEC 17a-4) e um dashboard de economia de custos com busca de restauração. Os arquivos continuam legíveis com zstd simples e Athena — sem lock-in.
O problema
O CloudWatch Logs cobra $0.50/GB para ingestão e $0.03/GB-mês para armazenar. A maioria dos logs é gravada uma vez e quase nunca lida novamente, então você continua pagando para armazenar dados que ninguém consulta. A ingestão que você já pagou não é recuperável, então o volume crescente de logs aumenta a fatura mês após mês.
Como funciona
- 1
Drenar ou desviar na origem
Drene grupos de logs existentes com o Modo A, ou aponte os agentes para o gateway compatível com PutLogEvents (Modo B) apenas com uma sobrescrita de endpoint e sem alterações na aplicação.
- 2
Arquivar em zstd no S3
Os eventos são gravados no S3 como JSONL compactado em zstd padrão com sidecars de índice de intervalo de bytes e timestamp, com custos de armazenamento de uma a duas ordens de grandeza abaixo do CloudWatch.
- 3
Pesquisar e restaurar sob demanda
O grep e o restore leem apenas os frames que uma consulta precisa via leituras de intervalo do S3, você pode consultar o arquivo in-place com o Athena, e o dashboard mostra a sua economia.
Destaques
Drain multi-account do AWS Organizations para um único arquivo sem lock-in.
WORM / S3 Object Lock (Governance + Compliance), verificado antes do bloqueio.
Dashboard de economia de custos + UI de busca de restauração (binário único).
O que está incluído
- Gateway compatível com PutLogEvents mais roteamento de drenagem no Modo A e desvio no Modo B
- Drenagem multicontas do AWS Organizations que se distribui via assume-role do STS em um único bucket agregado
- Retenção WORM do S3 Object Lock nos modos Governance e Compliance (SEC 17a-4) com log de auditoria por objeto
- Dashboard de economia de custos e busca de restauração como um único binário autocontido com assets incorporados
- Os arquivos permanecem em zstd simples e legíveis pelo Athena, sem a necessidade de ferramentas do S4 para ler seus dados
- A CLI s4logs de código aberto integrada à AMI (drain, serve, grep, restore, report, plan)
- CloudFormation de um clique que provisiona um bucket com Object Lock habilitado, função do IAM e o host do dashboard
Casos de uso
Centralize e arquive logs do CloudWatch Logs de todas as contas de uma AWS Organization em um único bucket
Mantenha os logs regulamentados sob a retenção WORM da SEC 17a-4, que ninguém, incluindo o root, pode alterar ou excluir antecipadamente
Reduza a fatura de contas com alta ingestão roteando o tráfego de logs através do gateway para evitar a taxa de ingestão de $0.50/GB
Reduza a linha de armazenamento em grupos de logs gravados uma vez e raramente lidos, depois reduza a retenção do CloudWatch com segurança
FAQ
Quanto eu realmente vou economizar?
Depende do modo. O Modo B evita a ingestão, o custo dominante, portanto pode reduzir cerca de 70–90% da fatura, pois a taxa de ingestão de $0.50/GB domina. O Modo A sozinho apenas reduz a linha de armazenamento, cerca de 50–70% no S3 Standard e até ~90% com o Glacier Instant Retrieval, e a ingestão que você já pagou não é recuperável.
Meus dados ficam presos ao seu produto?
Não. Os arquivos são frames zstd padrão RFC 8878 concatenados contendo JSONL, legíveis com zstd -dc e consultáveis in-place com o Athena, sem necessidade de ferramentas do S4. O formato em disco está congelado para a série 1.x, portanto, o cancelamento da assinatura deixa seus dados totalmente legíveis.
Ele atende aos requisitos de conformidade e WORM?
Sim. O comando lock aplica o S3 Object Lock no modo Governance ou Compliance; o modo Compliance é irreversível e não pode ser excluído ou encurtado por ninguém, incluindo a conta root, o que atende a regulamentos como o SEC 17a-4. Cada objeto tem sua integridade verificada em relação ao seu manifesto antes de ser bloqueado.
Funciona em várias contas AWS?
Sim. A drenagem multicontas do Organizations lista as contas membros (todas, por OU ou uma lista explícita), assume uma função cross-account em cada uma delas via STS e as drena para um único bucket agregado particionado por account id.
Onde ele é executado e minhas aplicações precisam de alterações?
Ele roda como uma AMI na sua própria conta AWS e VPC, cobrado por hora mais uma taxa anual via Marketplace, sem verificação de chave de licença e sem dados saindo da sua conta. As aplicações não mudam: o gateway fala o wire protocol PutLogEvents do CloudWatch Logs, então o Fluent Bit, o CloudWatch Agent ou um SDK migram apenas com uma sobrescrita de endpoint.
Por que é mais barato
Pressuposto: 5 TB / mês de ingestão de logs, retenção quente de 30 dias e logs de texto compressíveis ~10× com zstd em us-east-1.
- Ingestão CloudWatch Logs (5 TB × $0,50/GB)
- $2,560 / mês
- Armazenamento CloudWatch Logs (5 TB × 30 dias)
- $155 / mês
- Total mensal
- $2,715 / mês
- Armazenamento S3 (0,5 TB comprimidos)
- $12 / mês
- Instância S4 Logs (m5.large + taxa de software)
- $100 / mês
- Total mensal
- $112 / mês
Dimensionar a instância S4 Logs conforme a taxa de ingestão
| Taxa de ingestão | Instância recomendada | Custo da instância S4 Logs | Total mensal vs. CloudWatch Logs |
|---|---|---|---|
| ~1 TB / mês | t3.medium | $45 / mês | $48 / mês (CWL $543, −91 %) |
| ~5 TB / mês | m5.large | $100 / mês | $112 / mês (CWL $2.715, −96 %) |
| ~50 TB / mês | m5.2xlarge | $310 / mês | $427 / mês (CWL $27.140, −98 %) |
Exemplo ilustrativo. O CloudWatch Logs usa a tarifa publicada de us-east-1 (ingestão $0,50/GB + armazenamento $0,03/GB-mês); S3 e EC2 usam preços sob demanda na mesma região. A taxa de software do S4 Logs é cobrada por hora via AWS Marketplace, separadamente do custo do EC2. A compressão de 10× é um valor médio para logs de texto com zstd (faixa típica 4–10×). A economia real depende do conteúdo dos logs, da janela de retenção e da frequência de buscas long-tail.
Modelo de precificação
Taxa de software por hora + EC2 (classe t3 / m5). Medição por tipo de instância, opção anual disponível.
Outros produtos S4
S4 — Squished S3
Gateway transparente de compressão S3 com GPU
S4 Metrics
Controle a cardinalidade de métricas do CloudWatch
S4 NAT
NAT com custo otimizado para Amazon VPC