Jenkins Pipeline 中使用 Kafka 插件将消息发送到 Kafka


  !版权声明:本博客内容均均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。

目录[-]


系统环境:

  • Jenkins 版本:2.233
  • Kafka Logs 插件版本:0.1.6
  • Kafka Server 地址:192.168.2.12:9092、192.168.2.13:9092、192.168.2.14:9092

一、简介

      在平时我们使用 Jenkins 执行任务构建时候会产生很多指标性数据,这些数据会输出到 Jenkins 日志中,在 Jenkins 中日志是存储到文件里面的,且数据量多我们收集起存储来不是很方便,很多时候我们只要部分指标关键数据,例如,用于统计任务构建时长的”开始时间”和”结束时间”、”任务执行次数”、”任务执行人”、”任务编号”等等。

      收集这些关系指标数据有很多方法,可以使用 logstash 插件将数据输入到 ElasticSearch 中,也可以输出到 Kafka 等应用处理后再存储,这里就是将数据输出到 Kafka 中,方便后续处理这些数据。

二、安装 Kafka Logs 插件

进入 系统管理->插件管理->可选插件 后在搜索栏中输入 kafka logs 来查询插件,然后进行安装:

三、创建 Pipeline 任务

这里我们创建一个 Jenkins Pipeline 任务,方便后续测试该插件,选择 新建任务->输入任务名->选择流水线 操作如下:

  • Job 名称: kafka-test
  • Job 类型: 流水线

四、创建 Pipeline 脚本

等任务创建完成后,我们就进入到任务的配置中,这里我们将节目拖到最底部,在里面的 Script 中输入下面脚本,脚本内容是将”当前时间”、”任务名称”、”构建编号”、”构建结果”信息发送到 Kafka:

node {
    // kafka 插件中配置连接 kafka 的地址与对应的 Topic
    withKafkaLog(kafkaServers: "192.168.2.12:9092,192.168.2.13:9092,192.168.2.14:9092", kafkaTopic: "jenkins-pipeline", metadata:"xxx") {
        // 创建时间字符串
        String time = new Date().format("yyyy-MM-dd'T'HH:mm:ss.SSSZZ")
        // 设置发送到 kafka 的消息
        data = """{Time":"${time}","JobName":"${JOB_NAME}","BuildNumber":"${BUILD_NUMBER}","BuildResult":"${currentBuild.currentResult}"}"""
        // 发送消息到 Kafka
        echo "${data}"
    }
}

注意:本人已经在 kafka 配置中添加 auto.create.topics.enable=true 选项,允许自动创建 topic,如果不配置该参数,可能无法自动创建 topic,导致发生消息失败。

五、执行 Pipeline 任务进行测试

我们执行当前 Pipeline 任务,然后观察是否执行状态:

然后观察任务是否能够执行成功。

六、在 Kafka 中查接收到的消息

当 Jenkins 任务执行成功后,我们进入 kafka 目录中,使用其 kafka-console-consumer 工具查看之前 Jnekins 脚本中 kafka 插件指定的 Topic 中的消息:

  • –topic: 指定 kafka topic。
  • –bootstrap-server: 指定 kafka 集群地址。
  • –from-beginning: 使 consumer 从 kafka 最早的消息开始消费。
$ bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.12:9092,192.168.2.13:9092,192.168.2.14:9092 --topic jenkins-pipeline --from-beginning

{"metadata":"","build":1,"job":"kafka-test","message":"{Time\":\"2020-05-05T03:31:24.628+0800\",\"JobName\":\"kafka-test\",\"BuildNumber\":\"1\",\"BuildResult\":\"SUCCESS\"}"}

如果感觉本文章对你有帮助,请给本人 github 点个星吧!^^~

—END—