prometheus, commend add

DOCKER/PROMETHEUS/README.md

@@ -11,6 +11,13 @@ Prometheus을 이용한 www.hongsnet.net Container를 모니터링 한다.
 > !참고 : Node 및 VM은 Zabbix에서 모니터링을 수행하기 때문에 node-exporter는 실행되지 않는다.
 
 
+- **구성 요소**
+  - `prometheus` : 이벤트 모니터링 및 경고에 사용되는 어플리케이션이다. 실시간 경고와 함께 HTTP 풀 모델을 사용하여 구축 된 시계열 데이터베이스에 실시간 메트릭을 기록하는 역할을 담당한다.
+  - `alertmanager` : Prometheus의 alert를 전달받아 이를 적절한 포맷으로 가공하여 notify 해주는 역할을 담당한다.
+  - `cadvisor` : 모니터링 에이전트로서 모든 Node에 설치되어, Node에 대한 정보와 POD(컨테이너) 에 대한 지표를 수집되며, 이 수집된 내용은 컨테이너 오케스트레이션(k8s,swarm 등)에게 전달되는데, 이 후 전달된 내용은 모니터링 툴(Prometheus 등) 에서 다시 수집해가는 역할을 담당한다. cAdvisor의 경우 리소스 데이터만 수집한다. 이 리소스에는 CPU, Memory, Filesystem, Network Used와 같은 통계를 수집한다.
+  - `grafana` : 다중 플랫폼 오픈 소스 분석 및 대화형 시각화 웹 애플리케이션이며, 지원되는 데이터 소스에 연결되면 웹에 대한 차트, 그래프 및 경고를 제공하는 시각화 툴 이다.
+
+
 - **k8s**
 
 > 현재 진행중
@@ -179,6 +186,31 @@ groups:
       description: "A container has disappeared\n  VALUE = {{ $value }}\n  LABELS: {{ $labels }}"
 ```
 
+- **alertmanager**의 설정
+
+```bash
+# cat alertmanager.yml
+templates:
+  - '/etc/alertmanager/template/*.tmpl'
+
+route:
+  group_by: ['alertname']
+  group_wait: 30s
+  group_interval: 5m
+  # repeat_interval: 1h
+  receiver: containers
+  routes:
+  - match:
+      severity: critical
+    receiver: containers
+
+receivers:
+- name: containers
+  slack_configs:
+  - api_url: https://chat.hongsnet.net/hooks/XXXXXX
+    channel: '#grafana'
+```
+
 
 이제 **monitor** 서비스를 다음과 같이 실행한다.