Filebeat如何确保数据不丢失

2021-03-11    分类: 网站建设

   Filebeat通过将每次发送的数据状态都存储在Registry文件中来确保数据不丢失。如果发送的Output端没有返回确认信息,Filebeat将 会继续尝试发送上- -次的数据,直到Output端返回给Filebeat确认接收信息为止。
      当向Output端发送数据,或者还没有接收到Output端返回的确认信息时,如Filebeat因异常退出而关闭,那么在Filebeat重启后,将会把上一次发送的数据再发送一遍,以确保数据至少被接收一次。 所以在Output端 可能会出现重复的数据。我们可以通过shutdown_ timeout来设 置Filebeat关闭前等待的时间。
      当使用Kafka作为Output时,如果不要求数据的完整性,则可以容忍少量的丢失数据。我们也可以通过设置required _acks参数来提高Filebeat发送数据的效率,required_ _acks默认值为1, 表示等待Kafka接收副本返回确认信息;设置为o,表示Kafka不返回确认接收信息,Filebeat将会持续发送; 设置为-1, 表示需要等待Kafka所有副本确认接收信息后,才继续发送。

本文题目:Filebeat如何确保数据不丢失
网页URL:https://www.cdcxhl.com/news/105006.html

成都网站建设公司_创新互联,为您提供网页设计公司关键词优化网站排名定制网站定制开发标签优化

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

手机网站建设