FerroStash

Rust製の、Logstash互換のログ・イベントパイプライン。Logstashと同じ input → filter → output モデルでイベントを取り込み・変換・ルーティングし、Logstashの pipeline.conf DSL(および同等のYAML形式)をJVMなしでネイティブに解釈します。単一の静的バイナリ(約14MB)はミリ秒で起動し数十MBのRAMで動くため、ホストあたりのシッパー集約度を上げられます。

一般的なLogstashパイプラインは約1GBのJVMヒープを抱え起動に数十秒かかりますが、FerroStash は単一の静的バイナリとして動きます。v1.0系では、Logstash 9.x のバンドルプラグインの本番常用サブセット — 111個中98個(約88%)を、パースとフィルタリングのホットパスを重視して実装します。inputsは beats / file / tcp / udp / http / syslog / kafka / redis / s3 / sqs / jdbc / elasticsearch / cloudwatch ほか、filtersは grok / dissect / kv / json / mutate / date / geoip / dns / csv / xml / useragent / cidr / fingerprint / translate / aggregate / throttle にネイティブな Painless 風 script フィルタを加えたもの、outputsは elasticsearch / opensearch / kafka / s3 / http / tcp / udp / file / redis / sqs / sns / cloudwatch / email / datadog、codecsは json / json_lines / multiline / cef / netflow / avro / msgpack / protobuf。信頼性として、at-least-once配送とデッドレターキューを備えた任意のオンディスク永続キュー(電源断耐性のための fsync はオプトイン)と、ノード/パイプライン統計を出すモニタリングAPIを内蔵。正直なスコープ: Logstashの設定/パイプライン互換であって、バイト単位で100%同一のドロップインではありません。互換はプラグイン単位で、対応プラグインでもオプションの一部のみ実装する場合があり、未対応プラグインを使う設定はロード時に即座に失敗します。

仕組み

1. 1

   input → filter → output をネイティブ実行

   FerroStash は Logstash と同じ input → filter → output モデルでイベントを取り込み・変換・ルーティングします。Logstash の pipeline.conf DSL(および同等のYAML形式)をJVMや別エージェントランタイムなしでネイティブに解釈し、単一の静的バイナリとして動きます。

2. 2

   本番常用プラグインを実装

   v1.0系は Logstash 9.x のバンドルプラグイン111個中98個(約88%)を、パースとフィルタリングのホットパスを重視して実装します。inputs / filters / outputs / codecs の主要プラグインをカバーし、native な Painless 風 script フィルタも備えます。未対応プラグインを使う設定はロード時に即座に失敗するため、サイレントな取りこぼしがありません。

3. 3

   信頼性とモニタリング

   任意のオンディスク永続キューが at-least-once 配送(read/ack カーソル分離、output ack 後のチェックポイント)とデッドレターキューを提供し、電源断耐性のための fsync はオプトインです。ノードとパイプラインの統計を出す組み込みのモニタリングAPIも備えます。

特長

こんな用途に

よくある質問