2021-04-07

Kubernetes 部署监控工具 Prometheus

系统环境:

Kubernetes 版本: 1.20.2
Docker 版本: 19.03.13
操作系统: CentOS 7.9
Prometheus 版本: 2.26.0

参考地址:

示例地址：

Kubernetes 部署 Prometheus 的部署文件

系列文章目录

一、Prometheus 简介

下面的说明内容大部分来自于官网，本人感觉官网的概述还是比较清晰的。

Prometheus 是什么

Prometheus 是在 SoundCloud 上构建并开源的系统监视和警报工具包。自 2012 年成立以来，许多公司和组织都采用 Prometheus，该项目拥有非常活跃的开发人员和用户社区。不过它现在已经成为一个独立的开源项目，并且独立于任何公司进行维护。为了强调这一点并澄清项目的治理结构，Prometheus 于 2016 年加入了云原生计算基金会，成为继 Kubernetes 之后的第二个毕业项目。

Prometheus 特征

Prometheus 主要特征如下：

多维数据模型（时序列数据由 metric 名和一组 key/value 组成）。
提供 PromQL，这是一种灵活的查询语言，可以利用多维数据完成复杂的查询。
不依赖 分布式存储，支持服务器 本地存储。
基于 HTTP 的 Pull 方式采集时间序列数据。
通过 PushGateway 可以支持 Push 模式推送 时间序列。
可以通过 动态服务发现 或 静态配置 等方式发现目标对象。
多种可视化和仪表盘支持。

Prometheus 组成

Prometheus 生态系统包含多个组件，其中许多是可选的：

Prometheus 主服务器：用于抓取指标、存储时间序列数据。
Client libraries：用于检测应用程序代码。
PushGateway：支持短期工作的推送网关。
Alertmanager：用于处理报警的组件。
支持 HAProxy、StatsD、Graphite 等服务的特殊用途出口商。
…(其它工具)

Prometheus 架构

下图说明了 Prometheus 的体系结构及其某些生态系统组件：

Prometheus 架构图

Prometheus 直接或者通过中间件 PushGateway 中获取指标数据，它将所有收集到的指标样本存储在本地，并对这些数据按照一定规则进行运算，以汇总和记录现有的数据组的新的时间序列或者生成报警规则。而 Grafana 或者其它 API 使用者可以通过这些收集的指标数据进行可视化展示。

Promethues 适合场景

什么时候适合使用 Prometheus

Prometheus 非常适合记录任何纯数字时间序列。它既适合以机器为中心的监控，也适合监控高度动态的面向服务的体系结构。在微服务世界中，其对多维数据收集和查询的支持是一种特别的优势。 Prometheus 是为可靠性而设计的，在出现故障时，你可以使用该系统快速诊断问题。每个 Prometheus 服务器都是独立的，而不依赖于网络存储或其他远程服务。当基础结构的其他部分损坏时单独依赖它就行，而且不需要设置大量的基础设施来使用它。

什么时候不适合使用 Prometheus

Prometheus 注重可靠性。可以随时查看有关系统的可用统计信息，集成在出现故障的情况下也是如此。如果需要保证 100% 的数据准确性（例如按照请求数进行收费）则 Prometheus 并不是一个很好的选择，因为收集的数据可能不够详细和完整。

二、Kubernetes 部署 Prometheus

Kubernetes 部署 Prometheus RBAC

创建 Prometheus 部署 Kubernetes 所需的 RBAC 资源文件 prometheus-rbac.yaml，内如如下:

注意: 部署前请提前修改里面的 Namespace 参数为你要部署 Prometheus 应用所在的 Namespace。

1
apiVersion: v1
2
kind: ServiceAccount
3
metadata:
4
  name: prometheus
5
  namespace: kube-system
6
---
7
apiVersion: rbac.authorization.k8s.io/v1
8
kind: ClusterRole
9
metadata:
10
  name: prometheus
11
rules:
12
- apiGroups: [""]
13
  resources: ["nodes","nodes/proxy","services","endpoints","pods"]
14
  verbs: ["get", "list", "watch"]
15
- apiGroups: ["extensions"]
16
  resources: ["ingress"]
17
  verbs: ["get", "list", "watch"]
18
- nonResourceURLs: ["/metrics"]
19
  verbs: ["get"]
20
---
21
apiVersion: rbac.authorization.k8s.io/v1
22
kind: ClusterRoleBinding
23
metadata:
24
  name: prometheus
25
roleRef:
26
  apiGroup: rbac.authorization.k8s.io
27
  kind: ClusterRole
28
  name: cluster-admin
29
subjects:
30
- kind: ServiceAccount
31
  name: prometheus
32
  namespace: kube-system

将 RBAC 文件部署到 Kubernetes 中，执行的命令如下:

-f: 指定要部署的资源文件。
-n: 指定 Namespace 名称。

1
$ kubectl apply -f prometheus-rbac.yaml -n kube-system

Kubernetes 部署 Prometheus 存储

创建用于 Prometheus 存储的 PV、PVC 资源文件 prometheus-storage.yaml，内容如下:

这里使用的是 NFS 方式的 PV，需要存在 NFS Server 端才行，如果使用其它存储，请自行按照对应的存储方式进行配置 PV 参数，并且还需要注意配置文件夹的读写权限。

1
apiVersion: v1
2
kind: PersistentVolume
3
metadata:
4
  name: prometheus
5
  labels:
6
    k8s-app: prometheus
7
spec:
8
  capacity:
9
    storage: 50Gi
10
  accessModes:
11
    - ReadWriteOnce
12
  persistentVolumeReclaimPolicy: Retain
13
  storageClassName: nfs-storage    ## 指定 StorageClass,PVC 中设置的该名称要和这里保持一致
14
  mountOptions:
15
    - hard
16
    - nfsvers=4.1                  ## 指定 NFS 版本
17
  nfs:
18
    server: 192.168.2.11           ## NFS 服务器的地址
19
    path: /nfs/prometheus          ## NFS 数据存储目录
20
---
21
kind: PersistentVolumeClaim
22
apiVersion: v1
23
metadata:
24
  name: prometheus
25
  labels:
26
    k8s-app: prometheus
27
spec:
28
  accessModes:
29
    - ReadWriteOnce
30
  storageClassName: nfs-storage   ## 指定 StorageClass
31
  resources:
32
    requests:
33
      storage: 50Gi
34
  selector:
35
    matchLabels:
36
      k8s-app: prometheus

将存储相关资源文件部署到 Kubernetes 的中，执行的命令如下:

-f: 指定要部署的资源文件。
-n: 指定 Namespace 名称。

1
$ kubectl apply -f prometheus-storage.yaml -n kube-system

Kubernetes 创建 Prometheus 配置

Prometheus 配置文件是一个我们经常改动的文件，比较推荐将该配置文件内容存储到 Kubernetes 的 ConfigMap 中，方便我们进行更改配置内容。

创建 Prometheus 配置文件 prometheus-config.yaml，内如如下:

1
apiVersion: v1
2
kind: ConfigMap
3
metadata:
4
  name: prometheus-config
5
data:
6
  prometheus.yml: |
7
    global:
8
      scrape_interval:     15s
9
      evaluation_interval: 15s
10
      external_labels:
11
        cluster: "kubernetes"
12

13
    scrape_configs:
14
    - job_name: prometheus
15
      static_configs:
16
      - targets: ['127.0.0.1:9090']
17
        labels:
18
          instance: prometheus

将配置资源文件部署到 Kubernetes 的资源中，执行的命令如下:

-f: 指定要部署的资源文件。
-n: 指定 Namespace 名称。

1
$ kubectl apply -f prometheus-config.yaml -n kube-system

Kubernetes 部署 Prometheus

创建 Prometheus 部署文件 prometheus-deploy.yaml，内如如下:

1
apiVersion: v1
2
kind: Service
3
metadata:
4
  name: prometheus
5
  labels:
6
    k8s-app: prometheus
7
spec:
8
  type: NodePort
9
  ports:
10
  - name: http
11
    port: 9090
12
    targetPort: 9090
13
    nodePort: 30900
14
  selector:
15
    k8s-app: prometheus
16
---
17
apiVersion: apps/v1
18
kind: Deployment
19
metadata:
20
  name: prometheus
21
  labels:
22
    k8s-app: prometheus
23
spec:
24
  replicas: 1
25
  selector:
26
    matchLabels:
27
      k8s-app: prometheus
28
  template:
29
    metadata:
30
      labels:
31
        k8s-app: prometheus
32
    spec:
33
      serviceAccountName: prometheus
34
      containers:
35
      - name: prometheus
36
        image: prom/prometheus:v2.26.0
37
        ports:
38
        - name: http
39
          containerPort: 9090
40
        securityContext:
41
          runAsUser: 65534
42
          privileged: true
43
        command:
44
        - "/bin/prometheus"
45
        args:
46
        - "--config.file=/etc/prometheus/prometheus.yml"
47
        - "--web.enable-lifecycle"
48
        - "--storage.tsdb.path=/prometheus"
49
        - "--storage.tsdb.retention.time=10d"
50
        - "--web.console.libraries=/etc/prometheus/console_libraries"
51
        - "--web.console.templates=/etc/prometheus/consoles"
52
        resources:
53
          limits:
54
            cpu: 2000m
55
            memory: 1024Mi
56
          requests:
57
            cpu: 1000m
58
            memory: 512Mi
59
        readinessProbe:
60
          httpGet:
61
            path: /-/ready
62
            port: 9090
63
          initialDelaySeconds: 5
64
          timeoutSeconds: 10
65
        livenessProbe:
66
          httpGet:
67
            path: /-/healthy
68
            port: 9090
69
          initialDelaySeconds: 30
70
          timeoutSeconds: 30
71
        volumeMounts:
72
        - name: data
73
          mountPath: /prometheus
74
          subPath: prometheus
75
        - name: config
76
          mountPath: /etc/prometheus
77
      - name: configmap-reload
78
        image: jimmidyson/configmap-reload:v0.5.0
79
        args:
80
        - "--volume-dir=/etc/config"
81
        - "--webhook-url=http://localhost:9090/-/reload"
82
        resources:
83
          limits:
84
            cpu: 100m
85
            memory: 100Mi
86
          requests:
87
            cpu: 10m
88
            memory: 10Mi
89
        volumeMounts:
90
        - name: config
91
          mountPath: /etc/config
92
          readOnly: true
93
      volumes:
94
      - name: data
95
        persistentVolumeClaim:
96
          claimName: prometheus
97
      - name: config
98
        configMap:
99
          name: prometheus-config

上面部署的 Deployment 资源文件中的 containers 部分配置了两个容器，分别是:

prometheus: Prometheus 容器是主容器，用于运行 Prometheus 进程。
configmap-reload: 用于监听指定的 ConfigMap 文件中的内容，如果内容发生更改，则执行 webhook url 请求。因为 Prometheus 支持通过接口重新加载配置文件，所以这里使用这个容器提供的机制来完成 Prometheus ConfigMap 配置文件内容一有更改，就执行 Prometheus 的 /-/reload 接口，进行更新配置操作。

上面资源文件中 Prometheus 参数说明:

—web.enable-lifecycle: 启用 Prometheus 用于重新加载配置的 /-/reload 接口。
—config.file: 指定 Prometheus 配置文件所在地址，这个地址是相对于容器内部而言的。
—storage.tsdb.path: 指定 Prometheus 数据存储目录地址，这个地址是相对于容器而言的。
—storage.tsdb.retention.time: 指定删除旧数据的时间。默认为 15d。
—web.console.libraries: 指定控制台组件依赖的存储路径。
—web.console.templates: 指定控制台模板的存储路径。

将 Prometheus 应用部署到 Kubernetes 中，执行的命令如下:

-f: 指定要部署的资源文件。
-n: 指定 Namespace 名称。

1
$ kubectl apply -f prometheus-deploy.yaml -n kube-system

访问 Prometheus UI 界面

上面在部署 Prometheus 中设置其 Service 模式为 NodePort 模式，端口号为 30900，所以我们可以使用 NodePort 的端口访问 Prometheus。这里本人的 Kubernetes 集群中的其中一个地址为 192.168.2.31，所以我们可以输入地址 http://192.168.2.31:30900 访问 Prometheus 页面。

Prometheus UI 界面

该 UI 页面就是 Prometheus 提供的看板，我们可以通过页面很方便的执行 PromQL 查询 Prometheus 中的时间序列数据。并且，还能够通过该页面查看 Prometheus 的 配置内容 与 告警规则 等。更多的还需要多多操作自行摸索~

---END---

如果本文对你有帮助，可以关注我的公众号”小豆丁技术栈”了解最新动态，顺便也请帮忙 github 点颗星哦感谢