Jenkins Pipeline 中使用 Kafka 插件将消息发送到 Kafka

2020-05-05 13:00:00 jenkins kafka kafka logs

文章目录

系统环境：

Jenkins 版本：2.233
Kafka Logs 插件版本：0.1.6
Kafka Server 地址：192.168.2.12:9092、192.168.2.13:9092、192.168.2.14:9092

一、简介

在平时我们使用 Jenkins 执行任务构建时候会产生很多指标性数据，这些数据会输出到 Jenkins 日志中，在 Jenkins 中日志是存储到文件里面的，且数据量多我们收集起存储来不是很方便，很多时候我们只要部分指标关键数据，例如，用于统计任务构建时长的"开始时间"和"结束时间"、"任务执行次数"、"任务执行人"、"任务编号"等等。

收集这些关系指标数据有很多方法，可以使用 logstash 插件将数据输入到 ElasticSearch 中，也可以输出到 Kafka 等应用处理后再存储，这里就是将数据输出到 Kafka 中，方便后续处理这些数据。

二、安装 Kafka Logs 插件

进入 系统管理->插件管理->可选插件 后在搜索栏中输入 kafka logs 来查询插件，然后进行安装：

三、创建 Pipeline 任务

这里我们创建一个 Jenkins Pipeline 任务，方便后续测试该插件，选择 新建任务->输入任务名->选择流水线 操作如下：

Job 名称： kafka-test
Job 类型： 流水线

四、创建 Pipeline 脚本

等任务创建完成后，我们就进入到任务的配置中，这里我们将节目拖到最底部，在里面的 Script 中输入下面脚本，脚本内容是将"当前时间"、"任务名称"、"构建编号"、"构建结果"信息发送到 Kafka：

 1node {
 2    // kafka 插件中配置连接 kafka 的地址与对应的 Topic
 3    withKafkaLog(kafkaServers: "192.168.2.12:9092,192.168.2.13:9092,192.168.2.14:9092", kafkaTopic: "jenkins-pipeline", metadata:"xxx") {
 4        // 创建时间字符串
 5        String time = new Date().format("yyyy-MM-dd'T'HH:mm:ss.SSSZZ")
 6        // 设置发送到 kafka 的消息
 7        data = """{Time":"${time}","JobName":"${JOB_NAME}","BuildNumber":"${BUILD_NUMBER}","BuildResult":"${currentBuild.currentResult}"}"""
 8        // 发送消息到 Kafka
 9		echo "${data}"
10    }
11}

注意：本人已经在 kafka 配置中添加 auto.create.topics.enable=true 选项，允许自动创建 topic，如果不配置该参数，可能无法自动创建 topic，导致发生消息失败。

五、执行 Pipeline 任务进行测试

我们执行当前 Pipeline 任务，然后观察是否执行状态：

然后观察任务是否能够执行成功。

六、在 Kafka 中查接收到的消息

当 Jenkins 任务执行成功后，我们进入 kafka 目录中，使用其 kafka-console-consumer 工具查看之前 Jnekins 脚本中 kafka 插件指定的 Topic 中的消息：

--topic： 指定 kafka topic。
--bootstrap-server： 指定 kafka 集群地址。
--from-beginning： 使 consumer 从 kafka 最早的消息开始消费。

1$ bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.12:9092,192.168.2.13:9092,192.168.2.14:9092 --topic jenkins-pipeline --from-beginning
2
3{"metadata":"","build":1,"job":"kafka-test","message":"{Time\":\"2020-05-05T03:31:24.628+0800\",\"JobName\":\"kafka-test\",\"BuildNumber\":\"1\",\"BuildResult\":\"SUCCESS\"}"}

如果感觉本文章对你有帮助，请给本人 github 点个星吧！^^~

---END---