S4 AccessLake
所有記錄傳輸至 S3 + Iceberg，下游僅保留訊號
何時收回成本？
回收週期取決於成本項目和替換範圍
該產品的回收週期取決於您目前的 AWS 支出、替換範圍和執行環境。請使用帳單模擬器識別符合的成本項目並取得粗略的節省估算。
一款部署在您的記錄來源與 CloudWatch Logs / OpenSearch / SIEM 之間的 AWS 存取記錄湖倉閘道器 EC2 AMI。它以完整保真度將每筆記錄以 zstd + Apache Parquet + Apache Iceberg 格式封存到您自己的 S3 中，並且僅向下游轉發所需的訊號——在不遺漏任何單筆記錄的情況下，將擷取量減少 50–90%。
S4 AccessLake 介於您的 AWS 記錄來源（S3 server access logs、AWS WAF、CloudFront、ALB、NLB、VPC Flow Logs、Network Firewall、Route 53 Resolver）與通常流入的高價目的地（CloudWatch Logs、OpenSearch、SIEM）之間。它將完整保真度的記錄串流以 zstd + Apache Parquet + Apache Iceberg 格式封存到您自己的 S3 儲存桶中，然後僅轉發您實際需要的訊號——關鍵事件、前 N 個高噪 IP、彙總計數和取樣追蹤。結果是：在保留每筆記錄以用於稽核、事件回應和鑑識的同時，減少 50–90% 的 CloudWatch / SIEM 擷取 GB。內建的成本儀表板可即時量化您的節省額，原則 DSL（dry-run 規則 + preflight lint 驗證）可控制記錄流向，而基於 Merkle 錨定的證明可讓第三方離線驗證封存的完整性。
面臨挑戰
一旦您將所有內容傳送到 CloudWatch Logs 或 SIEM（Splunk、Datadog、OpenSearch），來自 WAF、CloudFront、ALB、VPC Flow 等的存取記錄就會使擷取定價成為佔主導地位的支出項目。但是，透過取樣或排除來削減數量，往往會導致在稽核或發生事件時需要的那一行記錄遺失。問題在於結構：廉價地保留每筆記錄，並僅將訊號傳送到高昂的下游。
運作原理
- 1
將所有內容封存至 S3 + Iceberg
八種 AWS 存取記錄格式（S3 server access、WAF、CloudFront、ALB、NLB、VPC Flow、Network Firewall、Route 53 Resolver）透過 SQS、Firehose 或直接 HTTP 接入，在 WAL 中進行持久化，然後作為 zstd 原始封存寫入您自己的 S3 儲存桶。同時建置一個正規化的 Parquet 湖（Hive 分區，可選使用 S3 Tables 上的 Apache Iceberg）作為衍生檢視表，可直接使用 Athena 進行查詢。
- 2
透過原則 DSL 僅轉發訊號
您在原則 DSL 中宣告哪些事件將流向 CloudWatch Logs、OpenSearch 或您的 SIEM：比對的關鍵事件、前 N 個高噪 IP、彙總計數、取樣。新規則在升級上線前可以先作為 dry-run 執行——僅對比對次數進行計數，不進行 any 轉發。設定會在啟動時的 preflight 中透過 lint 進行驗證，因此損壞的原則絕不會啟動服務。
- 3
節省視覺化與可稽核性
內建儀表板（透過 SSM 連接埠轉發存取的迴圈管理 API）持續累計您不再傳送到下游的 GB 和金額。每日 Merkle 證明清單記錄了封存的完整性，可由第三方稽核人員進行離線驗證。
產品亮點
在 S3 + Apache Iceberg (zstd + Parquet) 上保留完整保真度存取記錄的同時，減少 50–90% 的 CloudWatch Logs / SIEM 擷取 GB。
配備 dry-run 規則與 preflight lint 驗證的原則 DSL；用於第三方稽核的 Merkle 原始封存證明。
按使用量計費的 Marketplace AMI（含 14 天免費試用）：透過 AWS Marketplace Metering Service 按正規化 GB 進行計量；無需許可證金鑰，強制執行 IMDSv2，預設使用 SSE-KMS。
包含內容
- 8 種記錄剖析器：S3 server access、AWS WAF、CloudFront、ALB、NLB、VPC Flow、Network Firewall、Route 53 Resolver
- 包含 CloudWatch Logs / OpenSearch / SIEM 目標在內的 7 種轉發器，配備重試控制與 S3 DLQ
- zstd 原始封存 + 正規化 Parquet 湖（Hive 分區；可選使用 S3 Tables 上的 Apache Iceberg）
- 配備 dry-run 規則與 preflight lint 驗證的原則 DSL
- 節省儀表板 + Prometheus 風格的 /metrics（管理 API 僅限迴圈；推薦使用 SSM 連接埠轉發）
- 每日 Merkle 證明（可選錨定到第二區域儲存桶）
- CloudFormation / Terraform 快速啟動、強化的 systemd 單元、強制執行 IMDSv2、預設使用 SSE-KMS
適用場景
減少 CloudWatch Logs 擷取：所有內容都落地到 S3，僅將值得警報的訊號持續傳送到 CloudWatch
SIEM 擷取分層（Splunk、Datadog、OpenSearch）：湖中保留完整保真度，僅將精選事件送入 SIEM
受稽核監管的營運商（FinTech、SaaS、EC）：全部保留加上鑑識，可隨時透過 Iceberg / Athena 進行查詢
在海量 WAF / CloudFront 記錄中彙總高噪 IP 和攻擊模式，然後再傳送到下游
常見問題
支援哪些記錄來源？
共 8 種資料來源：S3 server access logs、AWS WAF、CloudFront、ALB、NLB、VPC Flow Logs、Network Firewall 和 Route 53 Resolver。擷取路徑為 SQS（S3 事件）、Firehose HTTP 端點以及經驗證的直接 HTTP。
如何計費？
按使用量計費：每正規化擷取 GB 費用為 $0.010，透過 AWS Marketplace Metering Service 進行計量（無每小時軟體費用）。您還需要額外支付您自己帳戶中的 EC2 執行個體成本。包含 14 天免費試用，可透過 Private Offer 定製每 GB 的費率與年度承諾。
是否提供 x86_64 版本？
是的。此頁面適用於 arm64 (Graviton) 產品；x86_64 (t3 / m7i / c7i / r7i) 作為獨立的配套產品列出，採用相同的每 GB 使用量計費模式。
我的資料儲存在哪裡？
完全儲存在您自己 AWS 帳戶的 S3 儲存桶中。預設啟用 SSE-KMS，且封存區域將根據 allow-list 進行強制限定。遙測資料為僅限選擇加入（opt-in），絕無資料離開您的帳戶。
如何存取儀表板？
管理 API 和儀表板僅繫結到迴圈介面（127.0.0.1:8080）。您可以透過 SSM Session Manager 連接埠轉發來存取它們，無需添加入站安全性群組規則。
計費模式
按使用量計費：每正規化擷取 GB 費用為 $0.010（透過 AWS Marketplace Metering Service 計量）+ 您自己的 EC2 成本。提供 14 天免費試用，無需許可證金鑰。透過 Private Offer 支援自訂每 GB 費率與年度承諾。x86_64 作為配套產品單獨列出。
