S4 AccessLake
所有日志传输至 S3 + Iceberg，下游仅保留信号
何时收回成本？
回收周期取决于成本项目和替换范围
该产品的回收周期取决于您当前的 AWS 支出、替换范围和运行环境。请使用账单模拟器识别匹配的成本项目并获取粗略节省估算。
一款部署在您的日志源与 CloudWatch Logs / OpenSearch / SIEM 之间的 AWS 访问日志湖仓网关 EC2 AMI。它以完整忠实度将每条记录以 zstd + Apache Parquet + Apache Iceberg 格式归档到您自己的 S3 中，并且仅向下游转发所需的信号——在不丢失任何单条记录的情况下，将摄取量减少 50–90%。
S4 AccessLake 介于您的 AWS 日志源（S3 server access logs、AWS WAF、CloudFront、ALB、NLB、VPC Flow Logs、Network Firewall、Route 53 Resolver）与通常流入的高价目的地（CloudWatch Logs、OpenSearch、SIEM）之间。它将完整忠实度的日志流以 zstd + Apache Parquet + Apache Iceberg 格式归档到您自己的 S3 存储桶中，然后仅转发您实际需要的信号——关键事件、前 N 个嘈杂 IP、聚合计数和采样追踪。结果是：在保留每条记录以用于审计、事件响应和取证的同时，减少 50–90% 的 CloudWatch / SIEM 摄取 GB。内置的成本仪表板可实时量化您的节省额，策略 DSL（dry-run 规则 + preflight lint 验证）可控制日志流向，而基于 Merkle 锚定的证明可让第三方离线验证归档的完整性。
面临挑战
一旦您将所有内容发送到 CloudWatch Logs 或 SIEM（Splunk、Datadog、OpenSearch），来自 WAF、CloudFront、ALB、VPC Flow 等的访问日志就会使摄取定价成为占主导地位的支出项目。但是，通过采样或排除来削减数量，往往会导致在审计或发生事件时需要的那一行日志丢失。问题在于结构：廉价地保留每条记录，并仅将信号发送到高昂的下游。
工作原理
- 1
将所有内容归档至 S3 + Iceberg
八种 AWS 访问日志格式（S3 server access、WAF、CloudFront、ALB、NLB、VPC Flow、Network Firewall、Route 53 Resolver）通过 SQS、Firehose 或直接 HTTP 接入，在 WAL 中进行持久化，然后作为 zstd 原始归档写入您自己的 S3 存储桶。同时构建一个规范化的 Parquet 湖（Hive 分区，可选使用 S3 Tables 上的 Apache Iceberg）作为衍生视图，可直接使用 Athena 进行查询。
- 2
通过策略 DSL 仅转发信号
您在策略 DSL 中声明哪些事件将流向 CloudWatch Logs、OpenSearch 或您的 SIEM：匹配的关键事件、前 N 个嘈杂 IP、聚合计数、采样。新规则在升级上线前可以先作为 dry-run 运行——仅对匹配次数进行计数，不进行 any 转发。配置会在启动时的 preflight 中通过 lint 进行验证，因此损坏的策略绝不会启动服务。
- 3
节省可视化与可审计性
内置仪表板（通过 SSM 端口转发访问的环回管理 API）持续累计您不再发送至下游的 GB 和金额。每日 Merkle 证明清单记录了归档的完整性，可由第三方审计人员进行离线验证。
产品亮点
在 S3 + Apache Iceberg (zstd + Parquet) 上保留完整忠实度访问日志的同时，减少 50–90% 的 CloudWatch Logs / SIEM 摄取 GB。
配备 dry-run 规则和 preflight lint 验证的策略 DSL；用于第三方审计的 Merkle 原始归档证明。
按使用量计费的 Marketplace AMI（含 14 天免费试用）：通过 AWS Marketplace Metering Service 按归一化 GB 进行计量；无需许可证密钥，强制执行 IMDSv2，默认使用 SSE-KMS。
包含内容
- 8 种日志解析器：S3 server access、AWS WAF、CloudFront、ALB、NLB、VPC Flow、Network Firewall、Route 53 Resolver
- 包含 CloudWatch Logs / OpenSearch / SIEM 目标在内的 7 种转发器，配备重试控制和 S3 DLQ
- zstd 原始归档 + 规范化 Parquet 湖（Hive 分区；可选使用 S3 Tables 上的 Apache Iceberg）
- 配备 dry-run 规则和 preflight lint 验证的策略 DSL
- 节省仪表板 + Prometheus 风格的 /metrics（管理 API 仅限环回；推荐使用 SSM 端口转发）
- 每日 Merkle 证明（可选锚定到第二区域存储桶）
- CloudFormation / Terraform 快速启动、强化的 systemd 单元、强制执行 IMDSv2、默认使用 SSE-KMS
适用场景
减少 CloudWatch Logs 摄取：所有内容都落地到 S3，仅将值得警报的信号持续发送到 CloudWatch
SIEM 摄取分层（Splunk、Datadog、OpenSearch）：湖中保留完整忠实度，仅将精选事件送入 SIEM
受审计监管的运营商（FinTech、SaaS、EC）：全部保留加上取证，可随时通过 Iceberg / Athena 进行查询
在海量 WAF / CloudFront 日志中聚合嘈杂 IP 和攻击模式，然后再发送到下游
常见问题
支持哪些日志源？
共 8 种数据源：S3 server access logs、AWS WAF、CloudFront、ALB、NLB、VPC Flow Logs、Network Firewall 和 Route 53 Resolver。摄取路径为 SQS（S3 事件）、Firehose HTTP 端点以及经身份验证的直接 HTTP。
如何计费？
按使用量计费：每归一化摄取 GB 费用为 $0.010，通过 AWS Marketplace Metering Service 进行计量（无每小时软件费用）。您还需要额外支付您自己账户中的 EC2 实例成本。包含 14 天免费试用，可通过 Private Offer 定制每 GB 的费率和年度承诺。
是否提供 x86_64 版本？
是的。此页面适用于 arm64 (Graviton) 产品；x86_64 (t3 / m7i / c7i / r7i) 作为独立的配套产品列出，采用相同的每 GB 使用量计费模式。
我的数据存储在哪里？
完全存储在您自己 AWS 账户的 S3 存储桶中。默认启用 SSE-KMS，且归档区域将根据 allow-list 进行强制限定。遥测数据为仅限选择加入（opt-in），绝无数据离开您的账户。
如何访问仪表板？
管理 API 和仪表板仅绑定到环回接口（127.0.0.1:8080）。您可以通过 SSM Session Manager 端口转发来访问它们，无需添加入站安全组规则。
计费模式
按使用量计费：每归一化摄取 GB 费用为 $0.010（通过 AWS Marketplace Metering Service 计量）+ 您自己的 EC2 成本。提供 14 天免费试用，无需许可证密钥。通过 Private Offer 支持定制每 GB 费率和年度承诺。x86_64 作为配套产品单独列出。
