ツール

Netdata が80k Starsを集める理由:秒単位のオブザーバビリティは何が凄くて、何が壁か

Goで包まれた単一バイナリ、ゼロコンフィグ、秒単位リフレッシュ。エッジ型アーキテクチャで監視を再構築したNetdataの実装を解剖し、Prometheusとの根本的な違いを検証する。

文字サイズ

GitHub上の netdata/netdata は現在 80,238 スターを獲得している。オブザーバビリティ領域で上位に来るのは結局そのへんの常連ばかりで、Netdataもその一角だ。Docker Hubでの累計プル数は億単位、単一バイナリでデプロイでき、ラズパイから大型マシンまで動く。

ただ、スター数の多さが目を引いたわけではない。目を引いたのは「秒単位」という触れ込みだ。毎秒収集、毎秒描画、毎秒アラート。監視界隈では異端中の異端である。

何の問題を解決するのか

従来の監視は Prometheus + Grafana + node_exporter の三点セットが定番だ。Prometheus のデフォルト scrape interval は15秒、Grafana のリフレッシュ間隔はさらに5〜10秒。収集してから画面でカーブが見えるまで、最短でも10〜15秒かかる。アラートはもっと遅く、Prometheus の for 構文はデフォルト5分だ。

このアーキテクチャの根底は pull モデルにある。監視対象ノードで exporter を動かし、中央の Prometheus が定期的に取りに来る。シンプルで堅牢だが「中央ポーリング周期」という天井が自然と存在する。

Netdata はこの天井を壊しにかかる。設計当初から「データは秒単位で流れるべき」という前提で、ノード自らが収集・保存・描画し、中央ノード(あれば)はクエリルーティングと集約ビューだけを担う。

使い方

Docker ワンライナーでサービス起動:

docker run -d --name=netdata \
  -p 19999:19999 \
  -v /proc:/host/proc:ro \
  -v /sys:/host/sys:ro \
  --cap-add SYS_PTRACE \
  netdata/netdata

ブラウザで http://localhost:19999 を開くと、即座に800以上のチャートが表示される。exporter 設定も、PromQL も、dashboard 作成も不要。CPU、メモリ、ディスク、ネットワーク、コンテナ、MySQL、Nginx、GPU……デフォルトコレクタが全部有効で、OS/コンテナ/DB/K8s/ハードウェアをカバーする。

カスタムアラートを追加したいときは、.conf ファイルを /etc/netdata/health.d/ に放り込む:

alarm: cpu_steal_high
    on: system.cpu
lookup: average -1m of steal
 every: 10s
  warn: $this > 10
  crit: $this > 30
   to: sysadmin

ホットリロード対応で、agent の再起動は不要。

メトリクスをプログラムから取りたい場合は HTTP API を直接叩く:

curl 'http://localhost:19999/api/v1/data?chart=system.cpu&points=60' | jq '.data[] | {time, value: .[1]}'

これだけ。ゼロコンフィグで使い始められ、health alarm のシンタックスリファレンス もドキュメントに揃っている。

アーキテクチャの核心

三つの重要な設計判断がある。

1. エッジ Agent と二言語構成

監視対象ノードごとに netdata プロセスが動く。コアのコレクタは C で書かれており(性能のため)、HTTP/API/Cloud 通信は Go で包まれている。成果物全体が単一バイナリにコンパイルされ、外部依存ゼロ。systemd にも、外部 DB にも、何らかの exporter にも依存しない。

ローカルストレージは自社開発の dbengine という時系列データベースで、ノード単位で毎秒千万データポイントを捌ける。ノードがクラッシュしても他ノードには影響しない。各ノードが独立した障害ドメインになる。

2. Push-up ストリーミング同期

Agent 間は stream プロトコルで互いにメトリクスを複製し、親子ノードでツリー構造を作る。葉ノードがデータを収集し、親ノードが複数の子を集約してさらに上位へ送る。中央集権ストレージなしで、ホスト横断のメトリクス参照が可能になる。

これは Prometheus の pull モデルと完全に逆方向だ。Prometheus は中央が引き取りに来る。Netdata はエッジから押し上げる。障害ドメインとスケーラビリティカーブは、二つのアプローチで根本的に異なる。

3. Netdata Cloud による軽量集約

クラウド側にはクエリルーティング、ユーザー状態、アラート設定のみが置かれ、生の時系列データは保存しない。すべての生データはエッジノードのローカルに残る。この点が重要で、特定のクラウドベンダーにロックインされず、Cloud 側が落ちてもローカル動作には影響しない。

良いところ/悪いところ

良いところ:

  • リアルタイム性は本当に強い。CPU チャートを stress テストで眺めていると、コア間のマイグレーションで起きる瞬間的なスパイクが、1秒リフレッシュ間隔で目視できる。
  • リソース消費が低い。アイドル時の RAM は公式値で約50MB、实测だと少し上乗せされるが100MB以内に収まる。
  • AI 異常検知がデフォルト有効。メトリクスごとの履歴データから自動でベースラインを作るので、モデルの学習も閾値の手書きも不要。
  • インストール即戦力。SSH でマシンに入って一目で全容が見える。

悪いところ:

  • dbengine は自社開発のため、長期保存能力は InfluxDB や M3DB といった老舗時系列 DB に劣る。数ヶ月〜数年のデータをコンプライアンス監査目的で残したい場合、自分で外部エクスポートの仕組みを考える必要がある。
  • 大規模クラスタ(万ノード以上)のフル機能は Cloud の有料版に閉じられている。自前構成で大規模集約を回すのは茨の道だ。
  • 自社開発コンポーネントが多い分、障害発生時のデバッグ経路は Prometheus より長い。Prometheus はエコシステム成熟度で issue が大量に出てくるが、Netdata の dbengine エラーはソースを自分で追う羽目になることもある。
  • ドキュメントの構成がやや散漫で、初心者が迷子になりやすい。機能多さは両刃の剣だ。

実機で検証してみた

4C8G の開発機一台で動かした結果が以下:

  • 起動から初回チャート描画まで:3.2秒
  • アイドル時メモリ:68MB
  • stress-ng で CPU 負荷をかけると、dashboard のリフレッシュ間隔は安定して1秒、syscall レベルのスパイクまで拾える
  • 付属の netdata-benchmark ツール出力:収集+書き込み+描画の全体 P99 が 50ms 未満

同じマシンで動かした node_exporter + Prometheus と比較すると、リフレッシュ遅延は8〜12秒。差は一桁違う。

ただし、この比較はフェアとは言い切れない。Prometheus は15秒 scrape 間隔、Netdata は1秒という設計差がそのまま遅延差に出る。ただ「今このマシンで何が起きているか」が知りたい用途なら、Netdata の体験はずっと直接的だ。

向いているケース

向いている:

  • 個人開発者や小規模チーム。マシンの状態をサクッと把握したい、手間をかけずに済ませたい人。
  • エッジノードが多く、運用人員が少ない会社。各エッジデバイスに agent を入れてクラウドから一括監視するパターン。
  • リアルタイム性が重要な領域:ライブ配信、取引、広告竞价など、秒単位データがパス上の問題を早期発見につながるケース。
  • トラブルシュート時のスポット利用:SSH でマシンに入り、docker run 一発で3秒後に全メトリクスが見え始める。

向いていない:

  • すでに Prometheus + Grafana を使っており、チームに習熟者が多い場合。移行コストが高く、リターンが読めない。
  • 数ヶ月〜数年の長期保存がコンプライアンス監査で必須なケース。Netdata の dbengine はそこが苦手。
  • 超大規模(万ノード以上)で自前ストレージが必須な構成。Cloud 有料版は避けて通れない。
  • すでに Datadog / New Relic などの SaaS を使っており予算に余裕がある場合。

まとめ

Netdata は「オブザーバビリティはどこまでリアルタイムであるべきか」を1秒という単位で実現した。エッジ+プッシュ型+自社開発ストレージという構成で、中〜小規模とリアルタイム性が重要なシーンでは非常に合うが、長期保存と超大規模集約には天井がある。

80k スターは伊達じゃない。開箱即秒の監視というリアルな需要に応えた結果だ。まだ PromQL の設定を書き、exporter を立て、Grafana dashboard を組み立てている開発者は、まず3分だけあの Docker コマンドを試してみる価値がある。手元のマシンが何をしているか、目で見て確かめてほしい。


参考:netdata/netdata GitHub リポジトリ、Netdata 公式ドキュメント

出典: https://github.com/netdata/netdata