欢迎光临
我们一直在努力

kafka-console-consumer.sh使用2次grep管道无法提取消息如何解决

这篇文章主要讲解了“kafka-console-consumer.sh使用2次grep管道无法提取消息如何解决”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“kafka-console-consumer.sh使用2次grep管道无法提取消息如何解决”吧!

    问题

    在使用kafka自带脚本消费时,想用grep关键词过滤出来想要的信息

    ./kafka-console-consumer.sh \
    --bootstrap-server node1:9092,node2:9092,node3:9092 \
    --topic test \
    --from-beginning \
    --consumer-property group.id=gaofeng_test\
     | grep  "b786aba6f3a6" | grep 388aabd

    但是发现grep命令在这里有问题,无法取到想要消息

    已经消费到latest了,都没有提取到想要的msg

    这里确认了producer端已经发送成功了,回调函数里都没有任何异常

    怀疑

    怀疑是否kafka存在丢数据的情况

    排查问题后发现kafka集群一切正常,性能也很强劲

    并且在存储消息的日志文件中也已经查询到了我想要的消息了,为什么就是消费不出来呢

    分析

    将kafka的这个主题 –from-beginning 消费到文件topic.log中去

    对topic.log这个静态文件进行grep “b786aba6f3a6” | grep 388aabd抽取,发现取到了自己想要的这条消息

    kafka消费时结果是动态的,grep这里用法不对,只有对静态的文件可以抽取到数据

    –line-buffered
             Force output to be line buffered.  By default, output is line buffered when standard output is
             a terminal and block buffered otherwise

    上面的意思是

    • 强制输出结果使用行缓冲

    • 默认情况下,如果标准输入时终端,则使用line bufferred

    • 否则,使用块缓冲,(默认的大小为4096 bytes,因系统和配置而异)

    所以,这也就解释了为什么双重grep过滤没有内容,因为没有达到块缓冲限制。

    验证

    生产消息

    a,b,c

    消费时两次grep则无消息

    消费时一次grep则都出来

    结论

    • 刚刚/kafka-console-consumer.sh第一次grep过滤出来的的消息小于4k了,所以传给第二次grep是不可以直接输出出来的,因为在缓冲区

    • 如果第一次grep出来的数据大于4k,传给第二个grep时则不会缓冲着,第二个grep收到就立刻传入到terminal输出了

    • 反之第一次grep过滤出来的的消息大于还是小于4k,一旦后面没有管道符号,直接输出给terminal的话,则遵循line bufferred规则立马输出

    解决

    使用如下命令即可

    ./kafka-console-consumer.sh \
    --bootstrap-server node1:9092,node2:9092,node3:9092 \
    --topic test \
    --from-beginning \
    --consumer-property group.id=gaofeng_test\
     | grep --line-buffered "b786aba6f3a6" | grep 388aabd

    【注意】

    这里用了grep 的 –line-buffered参数

    感谢各位的阅读,以上就是“kafka-console-consumer.sh使用2次grep管道无法提取消息如何解决”的内容了,经过本文的学习后,相信大家对kafka-console-consumer.sh使用2次grep管道无法提取消息如何解决这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是云搜网,小编将为大家推送更多相关知识点的文章,欢迎关注!

    赞(0)
    【声明】:本博客不参与任何交易,也非中介,仅记录个人感兴趣的主机测评结果和优惠活动,内容均不作直接、间接、法定、约定的保证。访问本博客请务必遵守有关互联网的相关法律、规定与规则。一旦您访问本博客,即表示您已经知晓并接受了此声明通告。