S4 Weights

面向 PyTorch training checkpoints（weights + optimizer state）的 GPU lossless compression codec。它對每個 tensor 做 byte-plane split，並在 GPU 上將 exponent plane 交給 ANS、mantissa 交給 GDeflate（nvCOMP），對 bf16、fp16 和 fp32 保持 bit-exact（lossless）。壓縮後的 checkpoints 儲存到你自己的 S3 bucket。以 g6 / g6e GPU AMI 交付。

S4 Weights 是一個透明、lossless codec，用於壓縮 training run 寫出的 checkpoints — model weights 和 optimizer state。恢復結果 byte-for-byte identical，並已針對每種受支援 dtype 上的對抗性 bit pattern（NaN、±Inf、denormal、-0.0）驗證。對於頻繁 checkpoint 的 run，它還會壓縮連續 checkpoints 之間的 byte-XOR delta。AMI build 本身會在 build GPU 上執行 compress→decompress round-trip；若不是 bit-exact 則 build 失敗，因此損壞的 plane reassembly 不會進入客戶 image。你的 checkpoints 永遠不會離開你自己的 VPC 和 S3 bucket。

運作原理

1. 1

   在 GPU 上拆分為位元組平面

   每個張量在 GPU 上拆分為正負號、指數和尾數位元組平面，每個平面均被分配給最適合的編解碼器 —— 指數平面進行 ANS 熵編碼，尾數平面使用 GDeflate，正負號平面執行位元打包（基於 NVIDIA nvCOMP 建構）。

2. 2

   壓縮檢查點之間的差分

   對於頻繁儲存檢查點的訓練執行，S4 Weights 還會儲存並壓縮連續檢查點之間的位元組級 XOR 差分，當大多數權重在兩次儲存之間幾乎沒有移動時，該差分會比原始檢查點小得多。

3. 3

   位元級完全還原，並儲存到您自己的 S3

   還原在位元組級始終完全一致，已針對所有支援的 dtype 對對抗性位元模式（NaN、+/-Inf、非規格化數、-0.0）進行了驗證。壓縮後的檢查點將持久化儲存到您設定的 S3 儲存貯體中，且絕不會離開您的帳戶。

產品亮點

適用場景

常見問題

為什麼更便宜

假設預訓練 70B 參數 LLM，每月 200 個 checkpoint (每個約 420 GB)，由 8× H100 叢集儲存。

僅供參考。S3 儲存費用使用 us-east-1 公開價格 ($0.023/GB·月)，8× H100 叢集假設 ~$280/h (p5/p5e 價位)。Checkpoint 停頓時間為每個 ckpt raw 5 分鐘、S4 Weights 1 分鐘。30% 壓縮率為 byte-plane + delta 的中位數估計，因模型架構和訓練階段而異 (10–50%)。