S4 Logs
將 CloudWatch Logs 歸檔到 zstd S3
何時收回成本?
範例:CloudWatch Logs 支出每月 $5,000
如果 CloudWatch Logs 支出為每月 $5,000,降低 70–90% 約等於 $3,500–$4,500/月的可避免總使用費 — 不含 S4 軟體費、EC2、儲存/傳輸和工作負載差異。
將 CloudWatch Logs 帳單減少 70–90%:多帳戶 drain 到 zstd S3、WORM/Object Lock 合規,以及成本 dashboard。
S4 Logs Commercial 將 CloudWatch Logs 歸檔到 zstd-compressed S3,並透過 PutLogEvents-compatible gateway 避免 ingest。Commercial layer 增加 AWS Organizations 多帳戶 drain、S3 Object Lock (Governance and Compliance, SEC 17a-4) WORM retention,以及 cost-savings 加 restore-search dashboard。歸檔仍可用 plain zstd 和 Athena 讀取 — 無 lock-in。
面臨挑戰
CloudWatch Logs 收取 $0.50/GB 的擷取費用和每月 $0.03/GB 的儲存費用。大多數日誌都是一次寫入後幾乎不再讀取,因此您一直在為無人查詢的資料支付儲存費用。已支付的擷取費用無法收回,因此不斷增長的日誌量會逐月推高帳單。
運作原理
- 1
在源頭進行排出或旁路
使用 Mode A 排出(drain)現有日誌群組,或者僅需覆蓋端點將 Agent 指向相容 PutLogEvents 的閘道器(Mode B),無需變更應用程式。
- 2
使用 zstd 封存至 S3
事件以標準 zstd 壓縮的 JSONL 格式寫入 S3,並附帶位元組範圍和時間戳記索引 sidecar,儲存成本比 CloudWatch 低一到兩個數量級。
- 3
按需搜尋和復原
Grep 和 restore 透過 S3 範圍讀取僅讀取查詢所需的幀,您可以使用 Athena 就地查詢封存,儀表板會顯示您節省的費用。
產品亮點
將 AWS Organizations 多帳戶 drain 到一個無 lock-in 的統一歸檔。
WORM / S3 Object Lock (Governance + Compliance),鎖定前驗證。
Cost-savings dashboard + restore-search UI (single binary)。
包含內容
- 相容 PutLogEvents 的閘道,以及 Mode A 排出和 Mode B 旁路路由
- AWS Organizations 多帳戶排出功能會列出成員帳戶(全部、按 OU 或透過明確清單),透過 STS 扮演各帳戶 of 跨帳戶角色,並將它們排出到按帳戶 ID 分區的單個聚合儲存桶中。
- 在 Governance 和 Compliance 模式(SEC 17a-4)下透過 S3 Object Lock 實現 WORM 保留,並提供單一物件層級的稽核日誌
- 成本節省與復原搜尋儀表板,採用包含嵌入式資源的單個自包含二進位檔案形式
- 封存檔案保持為普通的 zstd 格式且可被 Athena 直接讀取,讀取資料無需任何 S4 工具
- AMI 中整合了開源的 s4logs CLI(支援 drain、serve、grep、restore、report、plan)
- 一鍵式 CloudFormation,用於設定啟用了 Object Lock 的儲存桶、IAM 角色和儀表板主機
適用場景
將 AWS Organization 中所有帳戶的 CloudWatch Logs 集中封存到一個儲存桶中
將受監管的日誌置於 SEC 17a-4 WORM 保留策略下,確保包括 root 在內的任何人都無法篡改或提前刪除
透過將日誌流量路由經過閘道以避開 $0.50/GB 的內入費用,從而降低高內入量帳戶的帳單
降低一次寫入、極少讀取的日誌群組的儲存費用,然後安全地縮短 CloudWatch 的保留期
常見問題
我實際能節省多少費用?
這取決於具體模式。繞過內入(主要成本來源)的 Mode B 可以減少大約 70–90% 的帳單,因為 $0.50/GB 的內入費佔主導地位。單獨使用 Mode A 僅能降低儲存費用,在 S3 Standard 上約降低 50–70%,配合 Glacier Instant Retrieval 可降低高達 ~90%,且已支付的內入費用是無法收回的。
我的資料會被綁定到你們的產品上嗎?
不會。封存檔案是包含 JSONL 的拼接標準 RFC 8878 zstd 訊框,可透過 zstd -dc 讀取並使用 Athena 就地查詢,無需任何 S4 工具。磁碟上的資料格式在 1.x 系列中已凍結,因此取消訂閱後您的資料依然完全可讀。
它能滿足合規性和 WORM 要求嗎?
是的。lock 命令會在 Governance 或 Compliance 模式下套用 S3 Object Lock;Compliance 模式是不可逆的,包括 root 帳戶在內的任何人都無法刪除或縮短保留期,從而支援 SEC 17a-4 等監管規章。在鎖定前,每個物件都會對照其清單(manifest)進行完整性檢查。
它能跨多個 AWS 帳戶運作嗎?
是的。Organizations 多帳戶排出功能會列出成員帳戶(全部、按 OU 或透過明確清單),透過 STS 扮演各帳戶的跨帳戶角色,並將它們排出到按帳戶 ID 分區的單個聚合儲存桶中。
它在哪裡執行?我的應用程式需要修改嗎?
它作為 AMI 執行在您自己的 AWS 帳戶 and VPC 中,透過 Marketplace 按小時加年費計費,無授權金鑰檢查,資料也不會離開您的帳戶。應用程式無需修改:閘道支援 CloudWatch Logs PutLogEvents Wire 協定,因此 Fluent Bit、CloudWatch Agent 或 SDK 僅需覆蓋端點即可完成遷移。
為什麼更便宜
假設在 us-east-1 每月內嵌 5 TB 日誌、熱保留 30 天、為可被 zstd 壓縮約 10× 的文字日誌。
- CloudWatch Logs 內嵌 (5 TB × $0.50/GB)
- $2,560 / 月
- CloudWatch Logs 儲存 (5 TB × 30 天)
- $155 / 月
- 月度合計
- $2,715 / 月
- S3 儲存 (壓縮後 0.5 TB)
- $12 / 月
- S4 Logs 執行個體 (m5.large + 軟體費)
- $100 / 月
- 月度合計
- $112 / 月
按日誌內嵌速率選擇 S4 Logs 執行個體
| 內嵌速率 | 推薦執行個體 | S4 Logs 執行個體費用 | 月度合計對比 CloudWatch Logs |
|---|---|---|---|
| ~1 TB / 月 | t3.medium | $45 / 月 | $48 / 月 (CWL $543, −91%) |
| ~5 TB / 月 | m5.large | $100 / 月 | $112 / 月 (CWL $2,715, −96%) |
| ~50 TB / 月 | m5.2xlarge | $310 / 月 | $427 / 月 (CWL $27,140, −98%) |
僅供參考。CloudWatch Logs 使用 us-east-1 公開費率 (擷取 $0.50/GB + 儲存 $0.03/GB·月);S3 和 EC2 使用同區域的隨需價格。S4 Logs 軟體費用透過 AWS Marketplace 按小時計費,獨立於 EC2 費用。10× 壓縮率為 zstd 對文字日誌的中位數估計 (典型範圍 4–10×)。實際節省取決於日誌內容、保留視窗以及長尾搜尋的頻率。
計費模式
按小時計費的軟體費用 + EC2 (t3 / m5 class)。按 instance type 計量,提供年度選項。