S4 Embed

動作点はお客様が選べます。30k 件のベクトルベンチマークでは、バイナリ Hamming＋float リスコアが recall@10 で 0.976〜1.000 を記録し（OpenSearch 0.995、pgvector 0.996、Qdrant 1.000、Milvus 0.976）、いずれも 32 倍の RAM 削減のもとでの値です。over-fetch を上げるほどリコールが上がるため、目標リコールに合わせて動作点をチューニングします。リコールは over-fetch とともにスケールし、最適点はワークロードごとに異なります。

バイナリ量子化により、インメモリの ANN グラフを最大 32 倍小さくできます。加えて int8 残差でオンディスクのベクトルが約 4 倍小さくなります。削減幅はコーパスやストア、選択する動作点によって変わるため、s4embed prove / tune で実データから見積もるのが確実です。

パイプラインはストア非依存で、OpenSearch・pgvector・Qdrant・Milvus に対応します。OpenSearch と pgvector のパスは付属の CloudFormation クイックスタートで構築でき、Qdrant と Milvus は既存のエンドポイントを指定するだけで利用できます。s4embed compare を使えば、各ストアのライブ ANN リコールを比較できます。

できます。s4embed prove と tune がお客様のベクトルで設定を見積もり、compare が各ストアのライブ ANN リコールを計測します。ゲートウェイの shadow モードは本番リードを二重書き込み・並行比較し、圧縮パスが既存の結果を再現することを切り替え前に確認できます。さらに s4embed drift が埋め込みのドリフトとリコールを監視し、必要に応じて再チューニングを提案します。

S4 Embed は標準の Amazon Linux 2023 AMI として、お客様自身のロードバランサーの背後、お客様自身の VPC 内で動作します。データもベクトルデータベースもアカウント外に出ることはなく、ロックインもありません。課金は使用量ベースで、埋め込みテキスト・インデックス文書・検索クエリの単位で AWS Marketplace Metering Service を通じて毎時報告され、AWS の請求に計上されます。