返回 AWS Marketplace 产品列表
S4 Logs
可观测性

S4 Logs

将 CloudWatch Logs 归档到 zstd S3

CloudWatch Logs 节省 70–90% 替换的 AWS 服务: Amazon CloudWatch Logs
在 AWS Marketplace 获取

将 CloudWatch Logs 账单减少 70–90%:多账户 drain 到 zstd S3、WORM/Object Lock 合规,以及成本 dashboard。

S4 Logs Commercial 将 CloudWatch Logs 归档到 zstd-compressed S3,并通过 PutLogEvents-compatible gateway 避免 ingest。Commercial layer 增加 AWS Organizations 多账户 drain、S3 Object Lock (Governance and Compliance, SEC 17a-4) WORM retention,以及 cost-savings 加 restore-search dashboard。归档仍可用 plain zstd 和 Athena 读取 — 无 lock-in。

面临挑战

CloudWatch Logs 收取 $0.50/GB 的摄取费用和每月 $0.03/GB 的存储费用。大多数日志都是一次写入后几乎不再读取,因此您一直在为无人查询的数据支付存储费用。已支付的摄取费用无法收回,因此不断增长的日志量会逐月推高账单。

工作原理

  1. 1

    在源头进行排出或旁路

    使用 Mode A 排出(drain)现有日志组,或者仅需覆盖终端节点将 Agent 指向兼容 PutLogEvents 的网关(Mode B),无需更改应用程序。

  2. 2

    使用 zstd 归档至 S3

    事件以标准 zstd 压缩 of JSONL 格式写入 S3,并附带字节范围和时间戳索引 sidecar,存储成本比 CloudWatch 低一到两个数量级。

  3. 3

    按需搜索和恢复

    Grep 和 restore 通过 S3 范围读取仅读取查询所需的帧,您可以使用 Athena 就地查询归档,仪表板会显示您节省的费用。

产品亮点

将 AWS Organizations 多账户 drain 到一个无 lock-in 的统一归档。

WORM / S3 Object Lock (Governance + Compliance),锁定前验证。

Cost-savings dashboard + restore-search UI (single binary)。

包含内容

  • 兼容 PutLogEvents 的网关,以及 Mode A 排出和 Mode B 旁路路由
  • AWS Organizations 多账户排出功能会列出成员账户(全部、按 OU 或通过明确列表),通过 STS 扮演各账户 of 跨账户角色,并将它们排出到按账户 ID 分区的单个聚合存储桶中。
  • 在 Governance 和 Compliance 模式(SEC 17a-4)下通过 S3 Object Lock 实现 WORM 保留,并提供单对象级别的审计日志
  • 成本节省与恢复搜索仪表板,采用包含嵌入式资源的单个自包含二进制文件形式
  • 归档文件保持为普通的 zstd 格式且可被 Athena 直接读取,读取数据无需任何 S4 工具
  • AMI 中集成了开源的 s4logs CLI(支持 drain、serve、grep、restore、report、plan)
  • 一键式 CloudFormation,用于配置启用了 Object Lock 的存储桶、IAM 角色和仪表板主机

适用场景

将 AWS Organization 中所有账户的 CloudWatch Logs 集中归档到一个存储桶中

将受监管的日志置于 SEC 17a-4 WORM 保留策略下,确保包括 root 在内的任何人都无法篡改或提前删除

通过将日志流量路由过网关以避开 $0.50/GB 的摄取费用,从而降低高摄取量账户的账单

降低一次写入、极少读取的日志组的存储费用,然后安全地缩短 CloudWatch 的保留期

常见问题

我实际能节省多少费用?

这取决于具体模式。绕过摄取(主要成本来源)的 Mode B 可以减少大约 70–90% 的账单,因为 $0.50/GB 的摄取费占主导地位。单独使用 Mode A 仅能降低存储费用,在 S3 Standard 上约降低 50–70%,配合 Glacier Instant Retrieval 可降低高达 ~90%,且已支付的摄取费用是无法收回的。

我的数据会被绑定到你们的产品上吗?

不会。归档文件是包含 JSONL 的拼接标准 RFC 8878 zstd 帧,可通过 zstd -dc 读取并使用 Athena 就地查询,无需任何 S4 工具。磁盘上的数据格式在 1.x 系列中已冻结,因此取消订阅后您的数据依然完全可读。

它能满足合规性和 WORM 要求吗?

是的。lock 命令会在 Governance 或 Compliance 模式下应用 S3 Object Lock;Compliance 模式是不可逆的,包括 root 账户在内的任何人都无法删除或缩短保留期,从而支持 SEC 17a-4 等监管规章。在锁定前,每个对象都会对照其清单(manifest)进行完整性检查。

它能跨多个 AWS 账户工作吗?

是的。Organizations 多账户排出功能会列出成员账户(全部、按 OU 或通过明确列表),通过 STS 扮演各账户的跨账户角色,并将它们排出到按账户 ID 分区的单个聚合存储桶中。

它在哪里运行?我的应用程序需要修改吗?

它作为 AMI 运行在您自己的 AWS 账户 and VPC 中,通过 Marketplace 按小时加年费计费,无许可证密钥检查,数据也不会离开您的账户。应用程序无需修改:网关支持 CloudWatch Logs PutLogEvents Wire 协议,因此 Fluent Bit、CloudWatch Agent 或 SDK 仅需覆盖终端节点即可完成迁移。

计费模式

按小时计费的软件费用 + EC2 (t3 / m5 class)。按 instance type 计量,提供年度选项。

在 AWS Marketplace 获取