Prometheus Architecture

Prometheus 와 Grafana 란?

Prometheus : 오픈 소스 기반의 모니터링 시스템으로 Alerting을 지원.
Grafana : 오픈소스 매트릭 데이터 시각화 도구로 메트릭(Metric) 분석 플랫폼

보통, Prometheus 와 Grafana 가 같이 언급되는데

Prometheus 가 대상 시스템(Target System) 들에서 필요한 모니터링 지표를 수집하여 저장하고

Grafana 에서 이를 시각화(Visualization)한다.

Prometheus

오픈 소스 기반의 모니터링 시스템으로 각종 모니터링 지표를 수집하여 저장하고 검색할 수 있는 시스템이다.

현재 Kubernetes 상에서 가장 많이 사용하는 오픈 소스 기반 모니터링 시스템이며,

간단한 텍스트 형식으로 메트릭(Metric)을 쉽게 노출 가능하며, 데이터 모델은 Key-Value 형태로 레이블을 집계한다.

또한, 이해하기 쉬운 PromQL 쿼리 언어를 사용하여 간단하게 경고와 Ruleset 을 정의 가능하다.

대부분의 모니터링 도구가 Push 방식 즉, 각 서버에 클라이언트를 설치하고 이 클라이언트가 메트릭(Metric) 데이터를 수집해서 서버로 보내면 서버가 모니터링 상태를 보여주는 방식을 취한다.

하지만 Prometheus는 Pull 방식을 사용하여, 서버에 클라이언트가 떠 있으면 서버가 주기적으로 클라이언트에 접속해서 데이터를 가져오는 방식을 취한다.

※ Metric

Prometheus 는 근본적으로 모든 데이터를 시계열로 저장하고, 모든 시계열 데이터는 고유한 메트릭(Metric)명과 Optional 하게 들어갈 수 있는 Key-value 쌍의 라벨로 구분된다.

매트릭명 {라벨명=값, 라벨명=값} 샘플링 데이터

간단히 나타내면 Prometheus의 메트릭(Metric)은 위처럼 구성되어 있으며, 예시를 보자면 아래와 같다.

node_cpu_seconds_total 이라는 메트릭명에, cpu와 mode 라는 라벨이 붙어있다.

cpu와 mode 라벨에 각각 0, idle 이라는 값을 가진 메트릭 값은 48649.88 이라는 의미이다.

이 데이터가 Prometheus 에 수집될 때 timestamp 값이 같이 들어가게 되고, 이렇게 쌓인 메트릭 데이터들을 시계열 데이터 라고 한다.

참고) Prometheus의 Metric type

Prometheus에는 크게 아래의 4가지 메트릭(Metric) 타입이 존재한다.

counter: 증가하거나 0으로만 리셋 가능. (ex. total request count)
gauge: 증감 혹은 특정 값으로 설정 가능. (ex. number of running processes)
histogram: 특정 범위(bucket) 내에서 값의 빈도수를 표현. (ex. request duration)
summary: histogram 과 유사, 사분위수를 나타냄. (ex. request duration)
- 1/4(25%)씩 네조각으로 나누는 지점의 숫자를 가리키는 용어

※ Push 방식과 Pull 방식

Push : 데이터를 가진 곳에서, 필요한 곳으로 보내준다.
Pull : 데이터가 필요한 곳에서, 가진 곳에 접속하여 데이터를 긁어간다.

Push 방식은 중앙집중형이기에, 중앙 모니터링 시스템이 데이터 수집 항목, 수집할 서버를 모두 관리한다.

반면, Pull 방식은 분산형으로, 중앙시스템은 에이전트가 보내주는 데이터를 긁어갈 수만 있으면 어떤 데이터를 수집할 지 중앙에서 변경할 수 있다.

보안 측면에서는 Push가 Pull보다 유리하다
Pull방식은 수집 대상 서버에서 중앙 폴러가 접근할 수 있는 포트, IP 등을 수신 대기해야 한다.

HA 측면에서 Pull이 Push 방식보다 유리하다.
Data-Backend에서 장애가 발생하더라도, Pull 방식에선 수집 Host에 영향이 없으나 Push 방식에선 데이터 전송 재시도 등 Host에 영향이 생긴다.

참고) 데이터 수집

데이터 수집 요청은 정기적으로 발생한다. 일반적으로 각 대상에 10~60 초마다 요청을 보내도록 구성할 수 있다.

즉, 실시간이 아닌 어디까지나 근사값이라는 점을 인지해두어야 한다.

예를 들어, 15초 단위로 설정했다고 가정할 때 15초 내에 CPU가 올라갔다 내려와서 수집(Pull) 하는 순간에는 CPU가 내려간 값만 관측될 수 있다.