使用Kafka经常碰到需要查看topic是否创建,或是查看topic下的数据。

最开始想直接找可视化工具进行查看就找到了Kafka tool 然后发现链接数据较少的环境确实比较好用,但是如果topic或topic下的数据较多就会直接卡死,导致无法打开。

Kafka tool 的简单使用

首先去官网下载 Kafka tool :https://www.kafkatool.com/

无脑下一步进行安装。安装完成后进行新建链接操作

因为数据在Kafka都是byte所以要配置byte转string才能更方便的查看

在 tools --> settings --> Topics

然后选中想要查看的topic在properties中配置key和message为string

然后进入topic下的分区进行查看,点击绿色查询按钮即可查看

如果数据量较少可以使用这个工具进行查看,但是数据太多回直接卡死

使用Kafka命令脚本查看

由于我们公司Kafka是部署在docker中所以需要先进入Kafka容器,然后进入opt/kafka/bin/目录下,Kafka脚本命令都在这个目录下

查看kafka topic列表

kafka-topics.sh-list--zookeeperzookeeper地址:端口

从头开始查看kafka topic下的数据

kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictopic_name--from-beginning

按照偏移量查看topic下数据

kafka-console-consumer.sh--bootstrap-serverlocalhost:9092--topictopic_name--offsetlatest--partition0#--offset设置偏移量latest代表最后,可以设置区间,不设置结尾的话默认为查询到latest(最后)#--partition设置分区使用偏移量查询时一定要设置分区才能查询

清除Kafka topic下所有消息

kafka-topics.sh--zookeeperzookeeper地址:端口--delete--topictopic_name