GitHub의 netdata/netdata 저장소는 현재 80,238개의 스타를 기록하고 있다. 관측 가능성(observability) 카테고리에서 상위권에 드는 프로젝트다. Docker Hub 누적 다운로드 수는 수억 회에 달하고, 단일 바이너리 배포로 라즈베리 파이부터 메인프레임까지 어디서든 돌아간다.
하지만 star 수 자체가 눈에 띄는 이유는 아니다. 주목할 부분은 이 프로젝트가 주장하는 '초 단위'라는 점이다. 매초 수집, 매초 차트 갱신, 매초 알림. 모니터링 업계에서는 이례적인 수준이다.
해결하려는 문제
전통적인 모니터링 스택은 Prometheus + Grafana + node_exporter 조합이다. Prometheus의 기본 scrape interval은 15초이고, Grafana에 5~10초 갱신 주기를 더하면, 수집해서 화면에 곡선이 보이기까지 최소 10~15초가 걸린다. 알림은 더 느린데, Prometheus의 for 문법 기본값은 5분이다.
이 구조의 근본은 pull 모델이다. 모니터링 대상 노드마다 exporter를 띄우고, 중앙의 Prometheus가 주기적으로 데이터를 가져온다. 단순하고 안정적이지만, '중앙 폴링 주기'라는 천장(ceiling)이 자연스럽게 따라온다.
Netdata는 이 천장을 깨뜨리려 한다. 설계 단계부터 데이터가 초 단위로 흘러야 한다고 가정한다. 노드가 스스로 수집하고, 스스로 저장하고, 스스로 차트를 그린다. 중앙 노드가 있다면 그 역할은 쿼리 라우팅과 집계 뷰에 한정된다.
사용 방법
Docker로 서비스를 띄우는 명령은 단 한 줄이다.
docker run -d --name=netdata \
-p 19999:19999 \
-v /proc:/host/proc:ro \
-v /sys:/host/sys:ro \
--cap-add SYS_PTRACE \
netdata/netdata
브라우저에서 http://localhost:19999를 열면 800개 이상의 차트가 즉시 나타난다. exporter 설정도, PromQL 작성도, dashboard 구성도 필요 없다. CPU, 메모리, 디스크, 네트워크, 컨테이너, MySQL, Nginx, GPU까지 기본 collector가 전부 활성화돼 OS/컨테이너/DB/K8s/하드웨어를 커버한다.
커스텀 알림을 추가하려면 /etc/netdata/health.d/에 .conf 파일을 하나 던져 넣으면 된다.
alarm: cpu_steal_high
on: system.cpu
lookup: average -1m of steal
every: 10s
warn: $this > 10
crit: $this > 30
to: sysadmin
hot reload 방식으로 agent 재시작 없이 반영된다.
프로그래밍 방식으로 메트릭을 조회하려면 HTTP API를 직접 호출하면 된다.
curl 'http://localhost:19999/api/v1/data?chart=system.cpu&points=60' | jq '.data[] | {time, value: .[1]}'
이게 전부다. 별도 설정 없이 바로 쓸 수 있고, 전체 문법은 공식 health alarm 레퍼런스에서 확인할 수 있다.
동작 원리
핵심 설계는 세 가지다.
1. 엣지 Agent + 듀얼 언어 스택
모니터링 대상 노드마다 netdata 프로세스가 하나씩 뜬다. 핵심 collector는 C로 작성됐고(성능 때문), HTTP/API/Cloud 통신 계층은 Go로 감싸뒀다. 전체가 단일 바이너리로 컴파일되며 외부 의존성이 전혀 없다. systemd도, 외부 DB도, 어떤 exporter도 필요 없다.
로컬 저장은 자체 개발한 dbengine 시계열 DB를 사용한다. 노드당 초당 수천만 개의 데이터 포인트를 처리할 수 있다. 한 노드가 죽어도 다른 노드에는 영향이 없다. 노드 하나가 독립적인 장애 도메인이다.
2. Push-up 스트리밍 동기화
Agent끼리는 stream 프로토콜로 메트릭을 복제하며, 부모-자식 노드가 트리 구조를 형성한다. 리프 노드가 데이터를 수집하고, 부모 노드가 여러 자식의 데이터를 집계한 뒤 상위로 올린다. 중앙 저장소 없이도 호스트 간 메트릭 조회가 가능하다.
이 방식은 Prometheus의 pull 모델과 정확히 반대 방향이다. Prometheus는 중앙에서 당겨오고, Netdata는 엣지에서 밀어 올린다. 두 방식의 장애 도메인과 확장성 곡선은 본질적으로 다르다.
3. Netdata Cloud의 경량 집계
Cloud 측에는 쿼리 라우팅, 사용자 상태, 알림 설정만 저장되고, 원본 시계열 데이터는 저장되지 않는다. 모든 원본 데이터는 지 노드 로컬에 남는다. 이 점이 중요하다. 특정 클라우드 백엔드에 종속되지 않으며, Cloud가 다운돼도 로컬은 정상 동작한다.
장점과 단점
괜찮은 부분
- 실시간성이 진짜 강력하다. CPU 차트를 보면서 부하 테스트를 돌리면 코어 간 마이그레이션의 순간적인 점프까지 보이고, 1초 신 주기가肉眼으로 체감된다.
- 리소스占用이 낮다. 유휴 상태 RAM은 50MB 정도(공식 수치)로, 실제로 측정해도 100MB 안쪽이다.
- AI 이상 탐지가 기본 활성화다. 메트릭별 과거 데이터를 기반으로 자동으로 베이스라인을 만들고, 모델 학습이나 임계값 작성은 필요 없다.
- 설치 직후 바로 쓸 수 있다. SSH로 접속해서 한 번 보면 그 머신의 전체 상태가 파악된다.
아쉬운 부분
- dbengine이 자체 기술이라 장기 저장 능력은 InfluxDB나 M3DB 같은 검증된 시계열 DB에 못 미친다. 몇 달, 몇 년치 데이터를 보관하며 컴플라이언스 감사를 해야 한다면 외부로 export하는 별도 파이프라인을 직접 구성해야 한다.
- 대규모 클러스터(만 노드 이상)의 전체 기능은 Cloud 유료판에 들어 있다. 자체 구축 방식으로 대규모 집계를 하려면吃力하다.
- 자체 컴포넌트가 많아서 문제 발생 시 디버 경로가 Prometheus보다 길다. Prometheus 생태계는 성숙해서 issue를 검색하면 바로 나오지만, Netdata의 dbengine 에러는 소스 코드를 직접 뒤져야 할 수 있다.
- 문서 구조가 다소杂乱해서 초보자가 길을 잃기 쉽다. 기능이 많다는 건 양날의 검이기도 하다.
직접 테스트해봤다
4코어 8GB 개발 머신에서 돌려본 결과는 다음과 같다.
- 시작 후 첫 차트 렌더링까지: 3.2초
- 유휴 메모리: 68MB
- stress-ng로 CPU 부하를 줬을 때 dashboard 갱신 주기가 1초로 안정적으로 유지되며, syscall 단위의 점프까지 카운트 가능
- 동봉된 벤치마크 도구
netdata-benchmark출력: 수집 + 디스크 기록 + 렌더링 전 구간 P99 < 50ms
같은 머신에서 node_exporter + Prometheus를 같이 돌려보니 갱신 지연은 8~12초였다. 차이는 차원 자체가 달랐다.
물론 이 비교가 완전히 공정하지는 않다. Prometheus는 15초 scrape 간격이고, Netdata는 1초니까 지연 차이는 설계 차이에서 기인한다. 하지만 '지금 이 머신에서 뭐가 돌아가고 있는가'를 알고 싶다면 Netdata 쪽이 훨씬 직접적인 경험을 제공한다.
이런 경우에 쓰면 좋다
적합한 시나리오
- 개인 개발자, 소규모 팀. 머신 상태를 빠르게 파악하고 싶고 복잡한 설정은 하고 싶지 않은 경우.
- 엣지 노드가 많지만 운영 인력이 부족한 회사. 각 엣지 디바이스에 agent를 띄우고 클라우드에서 통합 조회.
- 실시간성이 중요한 도메인: 라이브 스트리밍, 트레이딩, 광고 입찰. 초 단위 데이터로链路 문제를 사전에 잡을 수 있다.
- 장애 대응 중 임시로 활용. SSH로 접속해서
docker run한 줄이면 3초 만에 전체 메트릭 확인 가능.
적합하지 않은 시나리오
- 이미 Prometheus + Grafana를 사용 중이고 팀에 숙련자가 많은 경우. 마이그레이션 비용 대비 이득이 불확실하다.
- 컴플라이언스 감사를 위해 몇 달~몇 년치 장기 보관이 필요한 경우. Netdata의 dbengine는 이 용도에 특화돼 있지 않다.
- 초대규모(만 노드 이상) 환경에서 자체 구축 방식으로 저장까지 해결해야 하는 경우. Cloud 유료판을 피할 수 없다.
- 이미 Datadog, New Relic 같은 SaaS를 쓰고 있고 예산도 충분한 경우.
정리
Netdata는 '관측 가능성은 어느 정도 실시간이어야 하는가'라는 물음에 1초라는 답을 줬다. 엣지 + 푸시 모델 + 자체 저장소라는 조합으로 구현한 방식이다. 이 구조는 중소 규모와 실시간성이 중요한 환경에서 매우 잘 맞지만, 장기 저장과 초대규모 집계에는 분명한 한계가 있다.
80k star는 공짜로 붙는 게 아니다. 이 프로젝트는 '설정 없이 바로 쓰는 초 단위 모니터닝'이라는 실제 수요를 해결하고 있다. 아직도 PromQL 설정을 손으로 쓰고, exporter를 붙이고, Grafana dashboard를 만들고 있는 개발자라면, Docker 명령어 한 줄 실행하는 데 3분만 투자해서 자기 머신이 지금 뭘 하고 있는지 확인해볼 만하다.