ATD文档中心 logo ATD文档中心

四种推日志方式介绍

系统支持多种给kafka推送日志的方式,每种方式有推荐使用场景,以下是几种推送方式优缺点介绍:

1、优先推荐kafkacat推送方式

优势:

由C语言开发,资源消耗少。

劣势:

(1)推送日志文件的名称固定,有做日志切割的日志文件在切割完成后必须保持文件名不变,如nginx_access.log。 (2)不支持修改日志中的字段,只支持简单的过滤操作。

2、Rsyslog推送方式

优势:

由C语言开发,资源消耗少,支持通配符及新产生文件内容的推送,如/data0/logs/*.log。

劣势:

(1)需要升级rsyslog以及安装rsyslog-kafka插件进行推送,可能需要下载依赖包。 (2)不支持修改日志中的字段,只支持简单的过滤操作

3、Filebeat推送方式

优势:

由go语言开发,相比于java语言开发的logstash资源消耗少一些,可以过滤及简单的修改日志中的字段,支持通配符及新产生文件内容的推送,依赖包较少。

劣势:

(1)相比于C语言开发的工具如rsyslog、kafkacat资源消耗更多一些。 (2)不能精确修改日志中的字段。

4、Logstash推送方式

优势:

由java语言开发,可精确修改日志中的字段,支持通配符及新产生文件内容的推送,依赖包较少。

劣势:

资源消耗比另外几种推送工具高。