2019-09-21

Kubernetes 部署 Ingress 控制器 Traefik v2.0

系统环境：

Traefik 版本：v2.0.5
Kubernetes 版本：1.16.3

地址：

Traefik 2.0 官方文档：https://docs.traefik.io/v2.0/
部署文件的 Github 地址：https://github.com/my-dlq/blog-example/tree/master/kubernetes/traefik-v2.0-deploy

一、Traefik 简介

Traefik 是一个流行的 HTTP 反向代理和负载均衡器，使用 Traefik 可以很方便的与现在流程的基础架构组件（如 Docker、Swarm、Kubernetes、Marathon、Consul、Etcd、Rancher、Amazon ECS …）集成，并可以针对不同的组件实现动态配置。

二、Kubernetes 部署 Traefik

注意：这里 Traefik 是部署在 Kube-system Namespace 下，如果不是需要修改下面部署文件中的 Namespace 属性。

1、创建 CRD 资源

在 traefik v2.0 版本后，开始使用 CRD（Custom Resource Definition）来完成路由配置等，所以需要提前创建 CRD 资源。

创建 traefik-crd.yaml 文件

1
## IngressRoute
2
apiVersion: apiextensions.k8s.io/v1beta1
3
kind: CustomResourceDefinition
4
metadata:
5
  name: ingressroutes.traefik.containo.us
6
spec:
7
  scope: Namespaced
8
  group: traefik.containo.us
9
  version: v1alpha1
10
  names:
11
    kind: IngressRoute
12
    plural: ingressroutes
13
    singular: ingressroute
14
---
15
## IngressRouteTCP
16
apiVersion: apiextensions.k8s.io/v1beta1
17
kind: CustomResourceDefinition
18
metadata:
19
  name: ingressroutetcps.traefik.containo.us
20
spec:
21
  scope: Namespaced
22
  group: traefik.containo.us
23
  version: v1alpha1
24
  names:
25
    kind: IngressRouteTCP
26
    plural: ingressroutetcps
27
    singular: ingressroutetcp
28
---
29
## Middleware
30
apiVersion: apiextensions.k8s.io/v1beta1
31
kind: CustomResourceDefinition
32
metadata:
33
  name: middlewares.traefik.containo.us
34
spec:
35
  scope: Namespaced
36
  group: traefik.containo.us
37
  version: v1alpha1
38
  names:
39
    kind: Middleware
40
    plural: middlewares
41
    singular: middleware
42
---
43
apiVersion: apiextensions.k8s.io/v1beta1
44
kind: CustomResourceDefinition
45
metadata:
46
  name: tlsoptions.traefik.containo.us
47
spec:
48
  scope: Namespaced
49
  group: traefik.containo.us
50
  version: v1alpha1
51
  names:
52
    kind: TLSOption
53
    plural: tlsoptions
54
    singular: tlsoption

创建 Traefik CRD 资源

1
$ kubectl apply -f traefik-crd.yaml

2、创建 RBAC 权限

Kubernetes 在 1.6 版本中引入了基于角色的访问控制（RBAC）策略，方便对 Kubernetes 资源和 API 进行细粒度控制。Traefik 需要一定的权限，所以这里提前创建好 Traefik ServiceAccount 并分配一定的权限。

创建 traefik-rbac.yaml 文件

1
apiVersion: v1
2
kind: ServiceAccount
3
metadata:
4
  namespace: kube-system
5
  name: traefik-ingress-controller
6
---
7
kind: ClusterRole
8
apiVersion: rbac.authorization.k8s.io/v1beta1
9
metadata:
10
  name: traefik-ingress-controller
11
rules:
12
  - apiGroups: [""]
13
    resources: ["services","endpoints","secrets"]
14
    verbs: ["get","list","watch"]
15
  - apiGroups: ["extensions"]
16
    resources: ["ingresses"]
17
    verbs: ["get","list","watch"]
18
  - apiGroups: ["extensions"]
19
    resources: ["ingresses/status"]
20
    verbs: ["update"]
21
  - apiGroups: ["traefik.containo.us"]
22
    resources: ["middlewares"]
23
    verbs: ["get","list","watch"]
24
  - apiGroups: ["traefik.containo.us"]
25
    resources: ["ingressroutes"]
26
    verbs: ["get","list","watch"]
27
  - apiGroups: ["traefik.containo.us"]
28
    resources: ["ingressroutetcps"]
29
    verbs: ["get","list","watch"]
30
  - apiGroups: ["traefik.containo.us"]
31
    resources: ["tlsoptions"]
32
    verbs: ["get","list","watch"]
33
---
34
kind: ClusterRoleBinding
35
apiVersion: rbac.authorization.k8s.io/v1beta1
36
metadata:
37
  name: traefik-ingress-controller
38
roleRef:
39
  apiGroup: rbac.authorization.k8s.io
40
  kind: ClusterRole
41
  name: traefik-ingress-controller
42
subjects:
43
  - kind: ServiceAccount
44
    name: traefik-ingress-controller
45
    namespace: kube-system

创建 Traefik RBAC 资源

-n：指定部署的 Namespace

1
$ kubectl apply -f traefik-rbac.yaml -n kube-system

3、创建 Traefik 配置文件

由于 Traefik 配置很多，通过 CLI 定义不是很方便，一般时候选择将其配置选项放到配置文件中，然后存入 ConfigMap，将其挂入 traefik 中。

创建 traefik-config.yaml 文件

1
kind: ConfigMap
2
apiVersion: v1
3
metadata:
4
  name: traefik-config
5
data:
6
  traefik.yaml: |-
7
    serversTransport:
8
      insecureSkipVerify: true
9
    api:
10
      insecure: true
11
      dashboard: true
12
      debug: true
13
    metrics:
14
      prometheus: ""
15
    entryPoints:
16
      web:
17
        address: ":80"
18
      websecure:
19
        address: ":443"
20
    providers:
21
      kubernetesCRD: ""
22
    log:
23
      filePath: ""
24
      level: error
25
      format: json
26
    accessLog:
27
      filePath: ""
28
      format: json
29
      bufferingSize: 0
30
      filters:
31
        retryAttempts: true
32
        minDuration: 20
33
      fields:
34
        defaultMode: keep
35
        names:
36
          ClientUsername: drop
37
        headers:
38
          defaultMode: keep
39
          names:
40
            User-Agent: redact
41
            Authorization: drop
42
            Content-Type: keep

创建 Traefik ConfigMap 资源

-n：指定程序启的 Namespace

1
$ kubectl apply -f traefik-config.yaml -n kube-system

4、节点设置 Label 标签

由于是 Kubernetes DeamonSet 这种方式部署 Traefik，所以需要提前给节点设置 Label，这样当程序部署时 Pod 会自动调度到设置 Label 的节点上。

节点设置 Label 标签

格式：kubectl label nodes [节点名] [key=value]

1
$ kubectl label nodes k8s-node-2-12 IngressProxy=true

查看节点是否设置 Label 成功

1
$ kubectl get nodes --show-labels
2

3
NAME            STATUS ROLES  VERSION  LABELS
4
k8s-master-2-11 Ready  master v1.15.3  kubernetes.io/hostname=k8s-master-2-11,node-role.kubernetes.io/master=
5
k8s-node-2-12   Ready  <none> v1.15.3  kubernetes.io/hostname=k8s-node-2-12,IngressProxy=true
6
k8s-node-2-13   Ready  <none> v1.15.3  kubernetes.io/hostname=k8s-node-2-13
7
k8s-node-2-14   Ready  <none> v1.15.3  kubernetes.io/hostname=k8s-node-2-14

如果想删除标签，可以使用 kubectl label nodes k8s-node-2-12 IngressProxy- 命令

5、Kubernetes 部署 Traefik

这里还是按以前部署 Traefik 1.7 一样，用 DaemonSet 方式部署，便于在多服务器间扩展，用 hostport 方式占用服务器 80、443 端口，方便流量进入。

创建 traefik 部署文件 traefik-deploy.yaml

1
apiVersion: v1
2
kind: Service
3
metadata:
4
  name: traefik
5
spec:
6
  ports:
7
    - name: web
8
      port: 80
9
    - name: websecure
10
      port: 443
11
    - name: admin
12
      port: 8080
13
  selector:
14
    app: traefik
15
---
16
apiVersion: apps/v1
17
kind: DaemonSet
18
metadata:
19
  name: traefik-ingress-controller
20
  labels:
21
    app: traefik
22
spec:
23
  selector:
24
    matchLabels:
25
      app: traefik
26
  template:
27
    metadata:
28
      name: traefik
29
      labels:
30
        app: traefik
31
    spec:
32
      serviceAccountName: traefik-ingress-controller
33
      terminationGracePeriodSeconds: 1
34
      containers:
35
        - image: traefik:v2.0.5
36
          name: traefik-ingress-lb
37
          ports:
38
            - name: web
39
              containerPort: 80
40
              hostPort: 80           #hostPort方式，将端口暴露到集群节点
41
            - name: websecure
42
              containerPort: 443
43
              hostPort: 443          #hostPort方式，将端口暴露到集群节点
44
            - name: admin
45
              containerPort: 8080
46
          resources:
47
            limits:
48
              cpu: 2000m
49
              memory: 1024Mi
50
            requests:
51
              cpu: 1000m
52
              memory: 1024Mi
53
          securityContext:
54
            capabilities:
55
              drop:
56
                - ALL
57
              add:
58
                - NET_BIND_SERVICE
59
          args:
60
            - --configfile=/config/traefik.yaml
61
          volumeMounts:
62
            - mountPath: "/config"
63
              name: "config"
64
      volumes:
65
        - name: config
66
          configMap:
67
            name: traefik-config
68
      tolerations:              #设置容忍所有污点，防止节点被设置污点
69
        - operator: "Exists"
70
      nodeSelector:             #设置node筛选器，在特定label的节点上启动
71
        IngressProxy: "true"

Kubernetes 部署 Traefik

1
$ kubectl apply -f traefik-deploy.yaml -n kube-system

到此 Traefik v2.0 应用已经部署完成。

三、Traefik 路由规则配置

1、配置 HTTP 路由规则（Traefik Dashboard 为例）

Traefik 应用已经部署完成，但是想让外部访问 Kubernetes 内部服务，还需要配置路由规则，这里开启了 Traefik Dashboard 配置，所以首先配置 Traefik Dashboard 看板的路由规则，使外部能够访问 Traefik Dashboard。

创建 Traefik Dashboard 路由规则文件 traefik-dashboard-route.yaml

1
apiVersion: traefik.containo.us/v1alpha1
2
kind: IngressRoute
3
metadata:
4
  name: traefik-dashboard-route
5
spec:
6
  entryPoints:
7
    - web
8
  routes:
9
    - match: Host(`traefik.mydlq.club`)
10
      kind: Rule
11
      services:
12
        - name: traefik
13
          port: 8080

创建 Traefik Dashboard 路由规则对象

1
$ kubectl apply -f traefik-dashboard-route.yaml -n kube-system

接下来配置 Hosts，客户端想通过域名访问服务，必须要进行 DNS 解析，由于这里没有 DNS 服务器进行域名解析，所以修改 hosts 文件将 Traefik 指定节点的 IP 和自定义 host 绑定。打开电脑的 Hosts 配置文件，往其加入下面配置：

1
192.168.2.12  traefik.mydlq.club

配置完成后，打开浏览器输入地址：http://traefik.mydlq.club 打开 Traefik Dashboard。

2、配置 HTTPS 路由规则（Kubernetes Dashboard 为例）

这里我们创建 Kubernetes 的 Dashboard 看板，它是 Https 协议方式，由于它是需要使用 Https 请求，所以我们配置基于 Https 的路由规则并指定证书。

创建证书文件

1
# 创建自签名证书
2
$ openssl req -x509 -nodes -days 3650 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=cloud.mydlq.club"
3

4
# 将证书存储到 Kubernetes Secret 中
5
$ kubectl create secret generic cloud-mydlq-tls --from-file=tls.crt --from-file=tls.key -n kube-system

创建 Traefik Dashboard 路由规则文件 kubernetes-dashboard-route.yaml

1
apiVersion: traefik.containo.us/v1alpha1
2
kind: IngressRoute
3
metadata:
4
  name: kubernetes-dashboard-route
5
spec:
6
  entryPoints:
7
    - websecure
8
  tls:
9
    secretName: cloud-mydlq-tls
10
  routes:
11
    - match: Host(`cloud.mydlq.club`)
12
      kind: Rule
13
      services:
14
        - name: kubernetes-dashboard
15
          port: 443

创建 Kubernetes Dashboard 路由规则对象

1
$ kubectl apply -f kubernetes-dashboard-route.yaml -n kube-system

跟上面一样，配置 Hosts 文件

1
192.168.2.12  cloud.mydlq.club

配置完成后，打开浏览器输入地址：https://cloud.mydlq.club 打开 Dashboard Dashboard。

到此文章结束，可以访问我的 Github 下载部署文件，别忘点颗 Start！！

---End---

小豆丁技术栈

Good luck will come along with a smiling.

Kubernetes 部署 Ingress 控制器 Traefik v2.0

一、Traefik 简介

二、Kubernetes 部署 Traefik

1、创建 CRD 资源

2、创建 RBAC 权限

3、创建 Traefik 配置文件

4、节点设置 Label 标签

5、Kubernetes 部署 Traefik

三、Traefik 路由规则配置

1、配置 HTTP 路由规则（Traefik Dashboard 为例）

2、配置 HTTPS 路由规则（Kubernetes Dashboard 为例）

Kubernetes 部署 Ingress 控制器 Traefik v2.0

一、Traefik 简介

二、Kubernetes 部署 Traefik

1、创建 CRD 资源

2、创建 RBAC 权限

3、创建 Traefik 配置文件

4、节点设置 Label 标签

5、Kubernetes 部署 Traefik

三、Traefik 路由规则配置

1、配置 HTTP 路由规则 （Traefik Dashboard 为例）

2、配置 HTTPS 路由规则（Kubernetes Dashboard 为例）

1、配置 HTTP 路由规则（Traefik Dashboard 为例）