S4 Logs
Arquive CloudWatch Logs em S3 com zstd
Reduza sua conta de CloudWatch Logs em 70–90%: drain multi-account para S3 com zstd, conformidade WORM/Object Lock e dashboard de custos.
S4 Logs Commercial arquiva CloudWatch Logs em S3 comprimido com zstd e evita ingest com um gateway compatível com PutLogEvents. A camada comercial adiciona drain multi-account com AWS Organizations, retenção WORM com S3 Object Lock (Governance e Compliance, SEC 17a-4) e um dashboard de economia de custos com busca de restauração. Os arquivos continuam legíveis com zstd simples e Athena — sem lock-in.
O problema
O CloudWatch Logs cobra $0.50/GB para ingestão e $0.03/GB-mês para armazenar. A maioria dos logs é gravada uma vez e quase nunca lida novamente, então você continua pagando para armazenar dados que ninguém consulta. A ingestão que você já pagou não é recuperável, então o volume crescente de logs aumenta a fatura mês após mês.
Como funciona
- 1
Drenar ou desviar na origem
Drene grupos de logs existentes com o Modo A, ou aponte os agentes para o gateway compatível com PutLogEvents (Modo B) apenas com uma sobrescrita de endpoint e sem alterações na aplicação.
- 2
Arquivar em zstd no S3
Os eventos são gravados no S3 como JSONL compactado em zstd padrão com sidecars de índice de intervalo de bytes e timestamp, com custos de armazenamento de uma a duas ordens de grandeza abaixo do CloudWatch.
- 3
Pesquisar e restaurar sob demanda
O grep e o restore leem apenas os frames que uma consulta precisa via leituras de intervalo do S3, você pode consultar o arquivo in-place com o Athena, e o dashboard mostra a sua economia.
Destaques
Drain multi-account do AWS Organizations para um único arquivo sem lock-in.
WORM / S3 Object Lock (Governance + Compliance), verificado antes do bloqueio.
Dashboard de economia de custos + UI de busca de restauração (binário único).
O que está incluído
- Gateway compatível com PutLogEvents mais roteamento de drenagem no Modo A e desvio no Modo B
- Drenagem multicontas do AWS Organizations que se distribui via assume-role do STS em um único bucket agregado
- Retenção WORM do S3 Object Lock nos modos Governance e Compliance (SEC 17a-4) com log de auditoria por objeto
- Dashboard de economia de custos e busca de restauração como um único binário autocontido com assets incorporados
- Os arquivos permanecem em zstd simples e legíveis pelo Athena, sem a necessidade de ferramentas do S4 para ler seus dados
- A CLI s4logs de código aberto integrada à AMI (drain, serve, grep, restore, report, plan)
- CloudFormation de um clique que provisiona um bucket com Object Lock habilitado, função do IAM e o host do dashboard
Casos de uso
Centralize e arquive logs do CloudWatch Logs de todas as contas de uma AWS Organization em um único bucket
Mantenha os logs regulamentados sob a retenção WORM da SEC 17a-4, que ninguém, incluindo o root, pode alterar ou excluir antecipadamente
Reduza a fatura de contas com alta ingestão roteando o tráfego de logs através do gateway para evitar a taxa de ingestão de $0.50/GB
Reduza a linha de armazenamento em grupos de logs gravados uma vez e raramente lidos, depois reduza a retenção do CloudWatch com segurança
FAQ
Quanto eu realmente vou economizar?
Depende do modo. O Modo B evita a ingestão, o custo dominante, portanto pode reduzir cerca de 70–90% da fatura, pois a taxa de ingestão de $0.50/GB domina. O Modo A sozinho apenas reduz a linha de armazenamento, cerca de 50–70% no S3 Standard e até ~90% com o Glacier Instant Retrieval, e a ingestão que você já pagou não é recuperável.
Meus dados ficam presos ao seu produto?
Não. Os arquivos são frames zstd padrão RFC 8878 concatenados contendo JSONL, legíveis com zstd -dc e consultáveis in-place com o Athena, sem necessidade de ferramentas do S4. O formato em disco está congelado para a série 1.x, portanto, o cancelamento da assinatura deixa seus dados totalmente legíveis.
Ele atende aos requisitos de conformidade e WORM?
Sim. O comando lock aplica o S3 Object Lock no modo Governance ou Compliance; o modo Compliance é irreversível e não pode ser excluído ou encurtado por ninguém, incluindo a conta root, o que atende a regulamentos como o SEC 17a-4. Cada objeto tem sua integridade verificada em relação ao seu manifesto antes de ser bloqueado.
Funciona em várias contas AWS?
Sim. A drenagem multicontas do Organizations lista as contas membros (todas, por OU ou uma lista explícita), assume uma função cross-account em cada uma delas via STS e as drena para um único bucket agregado particionado por account id.
Onde ele é executado e minhas aplicações precisam de alterações?
Ele roda como uma AMI na sua própria conta AWS e VPC, cobrado por hora mais uma taxa anual via Marketplace, sem verificação de chave de licença e sem dados saindo da sua conta. As aplicações não mudam: o gateway fala o wire protocol PutLogEvents do CloudWatch Logs, então o Fluent Bit, o CloudWatch Agent ou um SDK migram apenas com uma sobrescrita de endpoint.
Modelo de precificação
Taxa de software por hora + EC2 (classe t3 / m5). Medição por tipo de instância, opção anual disponível.
Outros produtos S4
S4 — Squished S3
Gateway transparente de compressão S3 com GPU
S4 Metrics
Controle a cardinalidade de métricas do CloudWatch
S4 NAT
NAT com custo otimizado para Amazon VPC