S4 Logs
CloudWatch LogsをzstdのS3へ退避
CloudWatch Logsの請求を70〜90%削減。zstd圧縮S3へのマルチアカウントドレイン、WORM/Object Lockコンプライアンス、コストダッシュボードを提供します。
S4 Logs Commercial は、CloudWatch Logsをzstd圧縮S3へアーカイブし、PutLogEvents互換ゲートウェイで取り込み(ingest)課金を回避します。コマーシャル層はAWS Organizationsによるマルチアカウントドレイン、S3 Object Lock(Governance / Compliance、SEC 17a-4相当)のWORM保持、コストセービング+復元検索ダッシュボードを追加。アーカイブは素のzstdとAthenaでそのまま読め、ロックインはありません。
課題
CloudWatch Logs は取り込みに $0.50/GB、保存に $0.03/GB・月が課金されます。ログの多くは一度書き込まれた後はめったに読み返されず、ほぼ参照されないデータに保存料を払い続けることになります。すでに支払った取り込み料は取り戻せないため、増え続けるログ量がそのまま毎月の請求額を押し上げます。
仕組み
- 1
ドレインまたはバイパス
既存のロググループは Mode A でドレインし、または PutLogEvents 互換ゲートウェイ（Mode B）へエンドポイントを切り替えるだけで、アプリを変えずに送信先を変更します。
- 2
zstd で S3 にアーカイブ
イベントは標準 zstd 圧縮の JSONL として、バイト範囲とタイムスタンプのインデックスとともに S3 に保存され、保存コストは CloudWatch の 1〜2 桁下になります。
- 3
必要なときに検索・復元
grep と restore はクエリに必要なフレームのみを S3 レンジ読み取りで取得し、Athena でそのまま検索でき、ダッシュボードで削減額を確認できます。
特長
AWS Organizationsのマルチアカウントを、ロックインのない単一アーカイブへドレイン。
WORM / S3 Object Lock (Governance + Compliance) — ロック前に検証。
コストセービングダッシュボード + 復元検索UI(単一バイナリ)。
含まれるもの
- PutLogEvents 互換ゲートウェイと、Mode A ドレイン / Mode B バイパスのルーティング
- STS の assume-role で各アカウントへ展開し、1 つの集約バケットに集める AWS Organizations マルチアカウントドレイン
- Governance / Compliance モード（SEC 17a-4）の S3 Object Lock による WORM 保持と、オブジェクト単位の監査ログ
- コスト削減と復元検索のダッシュボード。アセットを埋め込んだ単一バイナリで動作します
- アーカイブは標準 zstd のままで Athena から読め、データを読むのに S4 のツールは不要です
- OSS の s4logs CLI を AMI に同梱（drain / serve / grep / restore / report / plan）
- Object Lock 有効バケット・IAM ロール・ダッシュボードホストを作成するワンクリック CloudFormation
こんな用途に
AWS Organization 内の全アカウントの CloudWatch Logs を 1 つのバケットに集約してアーカイブする
規制対象のログを SEC 17a-4 の WORM 保持下に置き、root を含め誰も改変・早期削除できないようにする
取り込み量の多いアカウントでログをゲートウェイ経由にし、$0.50/GB の取り込み料を回避して請求を下げる
一度書いたらほとんど読まないロググループの保存料を下げ、その後 CloudWatch の保持期間を安全に短縮する
よくある質問
実際にどれくらい削減できますか？
モードによります。取り込み（請求の大半を占めるコスト）を回避する Mode B では、$0.50/GB の取り込み料が支配的なため請求のおよそ 70〜90% を削減できます。Mode A 単体では保存料のみの削減で、S3 Standard で約 50〜70%、Glacier Instant Retrieval で最大約 90% となり、すでに支払った取り込み料は取り戻せません。
データは御社の製品にロックインされますか？
いいえ。アーカイブは JSONL を含む標準 RFC 8878 の zstd フレームで、zstd -dc で展開でき、Athena でそのまま検索できます。S4 のツールは不要です。オンディスク形式は 1.x 系で凍結されているため、サブスクリプションを解約してもデータはそのまま読めます。
コンプライアンスや WORM の要件を満たせますか？
はい。lock コマンドが S3 Object Lock を Governance または Compliance モードで適用します。Compliance モードは取り消し不可で、root アカウントを含め誰も削除・短縮できず、SEC 17a-4 などの規制に対応します。ロック前に各オブジェクトをマニフェストと照合して整合性を検証します。
複数の AWS アカウントにまたがって使えますか？
はい。Organizations マルチアカウントドレインがメンバーアカウントを列挙し（全件 / OU 単位 / 明示指定）、STS で各アカウントのクロスアカウントロールを引き受け、アカウント ID で分割した 1 つの集約バケットへドレインします。
どこで動作し、アプリケーションの変更は必要ですか？
お客様自身の AWS アカウントと VPC 内で AMI として動作します。課金は Marketplace 経由の時間課金 + 年額で、ライセンスキー検証はなく、データがアカウント外へ出ることもありません。アプリの変更は不要で、ゲートウェイは PutLogEvents ワイヤープロトコルに対応するため、Fluent Bit・CloudWatch Agent・SDK はエンドポイントの切り替えだけで移行できます。
料金モデル
時間課金のソフトウェア利用料 + EC2(t3/m5級)。インスタンスタイプ別の従量課金、年額オプションあり。
