【DevOps 工具链】日志管理工具 - 22种 选型（读这一篇就够了）

1、简述

日志管理工具是为了在生产环境中，有效管理日志数据而提供的灵活、经济、有效的解决方案。现在来盘点下常见的 22 种 日志管理工具（ManageEngine EventLog Analyzer、Graylog、Logcheck、Logwatch、ELK/Logstash、OpenObserve、Grafana Loki、SigNoz、Syslog-ng、Highlight.io、Filebeat、LogDNA、Datadog/DataLog、Fluentd、Splunk、ManageEngine Log360、LOGalyze、SolarWinds Log & Event Manager、PRTG Network Monitor、Papertrail、XpoLog、EventTracker），调研下它们各自的特点、优缺点、管理架构、效果等，以便可以为业务选择合适的解决方案。

2、内容分类

现将 日志管理工具 相关的处理 分为7个部分，分别是：各类数据源、数据转换、数据清洗、日志中心、第三方可视化工具、业务系统、其他系统。

3、归纳对比表（排序不分先后）

序号	名称	主要特点	优点	缺点	价格
1	ManageEngine EventLog Analyzer	全面日志管理和安全信息与事件管理 SIEM 解决方案。专为企业设计，旨在提高网络安全性、合规性和操作效率。能够集中管理和分析来自各种设备和应用程序的日志数据，帮助企业及时发现并应对潜在的网络威胁。免费版和高级版	端到端的日志管理；自定义日志解析；带有报表和警报的完整日志分析；强大的日志搜索引擎和灵活的日志归档选项的代理；无代理方法	收费，免费版最多支持5个日志源，而高级版支持多达1000个日志源	免费版/商业版
2	Graylog	一个开源的日志聚合、分析、审计、展现和预警工具。功能上和ELK类似，但又比ELK要简单，依靠着更加简洁，高效，部署使用简单的优势很快受到许多人的青睐	在一个软件包中满足大多数集中式日志管理用例的需求；轻松扩展存储 (Elasticsearch) 和获取通道	可视化能力有限；不能使用整个ELK生态系统	免费开源，也有企业版
3	Logcheck	一种作为 cron 作业运行的开源日志监控工具。它筛选数千个日志文件以检测触发的违规或系统事件	性能非常高；筛选违规事件；报警摘要详细；邮件通知	无可视化界面，只适用于命令行，无界面无可视化能力，功能欠缺	免费开源
4	Logwatch	一个开源且高度可定制的日志收集和分析应用程序。它解析系统和应用程序日志，并生成有关应用程序运行情况的报告。	简洁、快速、效率高、配置简单，报告通过命令行或专用电子邮件地址发送；	无界面无可视化能力，功能欠缺	免费开源
5	ELK/Logstash	一种开源服务器端数据处理管道，接受来自多种来源的数据，包括本地文件或S3等分布式系统。它会处理日志将它们传送到Elasticsearch等平台，并进行分析和存档。因为它可以从多个应用程序中提取大量日志，然后将它们同时输出到不同的数据库或引擎	可伸缩性，弹性，可过滤对事件字段执行常规转换，可扩展插件生态系统，提供超过200个插件	Logstash耗资源较大，运行占用CPU和内存高。另外没有消息队列缓存，存在数据丢失隐患	免费开源
6	OpenObserve	一个开源的云原生可观测性平台，官方声称与 Elasticsearch 相比，存储成本降低了约 140 倍，笔者理解是在没有索引和没有高可用带来的重复数据(底层存储负责)的情况下。使用搜索进行日志查询，没有索引，后端是对象存储（parquet列存储）	占用空间相对较少，不需要索引文件，支持SQL；存储成本低；存储分离，扩展容易，内置前端	查询效率不高；缺乏文档，缺失案例	免费开源
7	Grafana Loki	用于时序数据的事实上的仪表盘解决方案。它支持近百个数据源。 Grafana Labs 想从一个仪表盘解决方案转变成一个可观察性 (observability) 平台，成为你需要对系统进行调试时的首选之地	强大的可视化功能；独特的索引策略，存储和处理日志的成本较低；强大的报警系统；支持多种部署	日志搜索功能不如其他平台简单直接；需要学习新的查询语言 LogQL	免费开源
8	SigNoz	一个日志收集和分析工具，可以管理各种来源的日志、指标、跟踪和异常。为使用 OpenTelemetry 检测应用程序提供本机支持，防止供应商锁定，将收集到的数据存储在 ClickHouse 中，然后在用户友好的仪表板中聚合和可视化数据	全面的解决方案，包括指标、追踪和日志；可以轻松地与你的应用程序集成；开箱即用地提供图表和可视化功能；自动计算重要的指标；可以轻松设置动态警报阈值，并及时发送通知	文档可能不够清晰，因为它主要涵盖存储和保留期配置；升级有时会导致问题；定制性有限	免费开源
9	Syslog-ng	一个开源的日志管理解决方案，主要用于收集和处理日志数据。它可以从多种源收集日志，包括系统日志、网络设备日志和第三方应用日志。然后将日志解析、分类、重写和关联到统一格式中，然后将其存储或安全地传输到不同的系统	性能非常高；快速搜索和故障排除；支持多种消息格式；传输安全；不同数据库无缝对接	学习和理解配置语法可能需要一些时间	免费开源
10	Highlight.io	一个开源的日志管理工具，专为开发者和运维团队设计，用于收集、索引和分析日志数据。它使用 Elasticsearch 作为其后端存储，提供了一个强大的搜索和分析功能	设置简单快捷；警报功能非常高效；直观的用户界面和强大的搜索功能；与所有流行的框架无缝协作	没有像其他工具那样经过实战考验	免费开源
11	Filebeat	轻量级并且易使用；模块可用于常见用例（例如 Apache 访问日志）。您可以使用它们来设置 Filebeat、Ingest 和 Kibana 仪表板，只需几个命令。	没有任何依赖；它占用资源极少；可靠性很高；资源使用率低；良好的性能；轻量级并且易使用	应用范围十分有限；有限的解析和功能	免费开源
12	LogDNA	是日志管理领域的新成员。LogDNA可作为SaaS和内部使用，提供所有日志基础:通过syslog和HTTP(S)以及全文搜索和可视化，提供基于代理和无代理的日志收集，并提供清晰且具有竞争力的价格	用于搜索日志的简单 UI，类似于 Papertrail；易于理解的计划	免费版无存储；可视化能力有限；保留期取决于计划；用户数量也取决于计划	免费版/商业版
13	DataLog	一种 SaaS，最初是作为监控 (APM) 工具，后来还添加了日志管理功能。用于解析和丰富日志的服务器端处理管道，自动检测常见的日志模式，可以将日志归档到 AWS/Azure/Google Cloud 存储并在以后重新使用它们	容易搜索，良好的自动完成（基于facet）；与DataDog指标和跟踪的集成；对于短期保留和/或如果你依靠存档进行一些搜索	现场不可用；一些用户抱怨成本失控（由于定价灵活），可以设置每日处理配额	商业版
14	Fluentd	DevOps 的最爱，特别是对于 Kubernetes 部署，因为它具有丰富的插件库。与 Logstash 一样，它可以将数据结构化为 JSON，并涉及日志数据处理的所有方面：收集、解析、缓冲和输出跨各种来源和目的地的数据	良好的性能和资源使用；良好的插件生态系统；易于使用的配置；良好的文档；与库和Kubernetes的良好集成，大量的内置插件，很容易编写新的	解析前没有缓冲，可能会导致日志管道出现背压；对转换数据的支持有限	免费开源
15	Splunk	最早的商业日志集中工具之一，也是最受欢迎的。用于搜索和分析的强大查询语言，搜索时字段提取（在摄取时解析之外），自动将经常访问的数据移动到快速存储，将不经常访问的数据自动移动到慢速存储	成熟且功能丰富；对于大多数用例来说，良好的数据压缩（假设有有限的索引，正如推荐的那样）；日志和度量在一个屋檐下	对于较长的时间范围，查询速度较慢（建议使用有限的索引）；用于度量存储的效率低于专注于监控的工具	商业版
16	ManageEngine Log360	一种SIEM或安全分析解决方案，可帮助您应对本地、云端或混合环境中的威胁。可以帮助组织遵守 PCI DSS、HIPAA、GDPR 等合规性要求。您可以自定义解决方案以满足您独特的用例并保护您的敏感数据	自动日志收集；自定义日志解析；实时分析提高可见性；可扩展性强；超快速的日志搜索；安全的日志存档以确保合规性；事件响应	收费贵；不支持中文；国内文档相对较少	商业版
17	LOGalyze	一个强大的网络监控和日志管理工具，可以收集和解析来自网络设备、Linux 和 Windows 主机的日志。它最初是商业性的，但现在可以完全免费下载和安装，没有任何限制	日志记录自定义；可用于本机和自定义应用程序；可以通过关联趋势，了解模式和单个事件管理来分析他们的日志记录数据；可以标记每个事件并创建单独的类别	只能登录后使用；中文支持较差；国内文档相对较少	商业版
18	SolarWinds Log & Event Manager	是Windows的日志分析工具，可提供集中的日志监控体验。由SolarWinds Log&Event Manager处理的数据在传输过程中会进行加密，未经授权无法读取	分析Windows日志更专业，效率高处理快。提供事件时间检测，帮助用户快速检测问题所在	只作用于Windows，跨平台性差，中文支持不好，不开源	商业版
19	PRTG Network Monitor	一个网络监控平台，包括Windows事件日志传感器和Syslog接收传感器。Windows事件日志传感器监控Windows系统和应用日志文件。该系统日志接收传感器记录的由设备在网络中发送的每秒系统日志文件的数量和过滤	监控Windows日志更专业，主要用于网络监控，支持显示日志消息的速率；过滤器可自定义，因此可以确定哪些活动将触发警报	国内文档相对较少；跨平台性差，只作用于Windows，中文支持较差	商业版
20	Papertrail	Windows的日志分析器，可自动扫描日志数据。扫描日志数据时，可以选择希望扫描结果显示的信息	扫描Windows日志更专业，主要用于日志扫描和显示。可以选择扫描是否包含IP地址，电子邮件地址， GUID/UUID，HTTP(s)URL，域，主机，文件名和引用文本	只作用于Windows，功能相对单一，中文支持不好，不开源	商业版
21	XpoLog	可以通过网络收集和分析来自设备的日志。XpoLog实时监控日志以发现性能问题并创建警报。用户可以定义警报规则并实施自己的过滤规则	功能相对较丰富。Basic版本是免费的，每天支持1GB，5天数据保留	中文支持较差，在用户体量多时，要商用收费	商业版
22	EventTracker	可以收集和分析Windows事件，Syslog和W3C/IIS日志文件中的日志数据。该程序可以实时检测安全事件。EventTracker的实时日志分析功能使其成为事件检测和响应的理想选择	实时事件警报为日志活动提供了额外的可见性。有提供数百种不同的警报外的开箱与EventTracker。警报包括取证分析，以便你在对安全事件的解决方案进行故障排除时可以使用其他数据	只作用于Windows，跨平台性差，中文支持不好，中文学习资料较少	商业版

4、日志管理主要目的

为了了解系统和不同应用程序的状态以及它们如何工作，系统管理员必须每天在生产环境中检查日志文件。可以想象必须查看多个系统区域和应用程序的日志文件，这就是日志记录系统派上用场的地方。它们有助于监控、审查、分析，甚至根据系统管理员配置的不同日志文件生成报告。日志管理包含日志数据存储、处理、分析和可视化，通过利用日志管理工具，可以监控性能趋势、解决问题、检测异常并优化整体系统性能。

当系统崩溃或应用程序出现故障时（有时会发生这种情况），您需要追根究底并找出故障原因。日志文件记录系统活动并深入了解错误和后续故障的可能来源。他们给出了一个详细的事件序列，包括一个详细的时间戳，引发或导致了一个事件。

无论前端系统，还是后端系统的诊断和恢复都从查看系统日志开始。分析日志文件可以帮助运营团队找到可疑活动的证据，例如指向安全漏洞的未经授权的登录。它可以帮助数据库管理员调整他们的数据库以获得最佳性能，还可以帮助开发人员解决他们的应用程序问题并编写更好的代码。

5、日志管理工具 22种 详细（排序不分先后）

5.1、ManageEngine EventLog Analyzer

5.1.1、简介

ManageEngine EventLog Analyzer 是基于Web的日志分析报表解决方案，它不光能够收集日志，还支持使用高效的分析引擎，对存储的日志进行分析、解析，并通过专门的报表工具生成报表。

EventLog Analyzer 可以对来自企业和组织中的所有IT资源（包括网络、系统和应用）产生的安全信息（包括日志、告警等）进行统一的实时监控、历史分析，对来自外部的入侵和内部的违规、误操作行为进行监控、审计分析、调查取证、出具各种报表报告，实现IT资源合规性管理的目标，同时提升企业和组织的安全运营、威胁管理和应急响应能力。

EventLog Analyzer能够支持一切人类可读格式的日志。如 - Windows/Linux/Unix主机的事件日志；路由器及交换机等Syslog的设备；IIS网络服务器、IIS FTP服务器、MS SQL服务器、Oracle 服务器、DHCP - Windows和DHCP - Linux服务器的应用日志。

官网地址：https://www.manageengine.cn/products/eventlog/

5.1.2、效果图

5.1.3、日志管理架构

EventLog Analyzer 拥有无代理架构，它使用内置的系统日志和事件日志服务器存储，从所有配置的设备中获得的事件日志和系统日志，提供全面的事件、合规和自定义报表。这有助于网络管理员分析系统问题，提高网络安全性，并减少服务器、工作站、域控制器、交换机和企业网络路由器的停机时间，解析收集的日志并生成报表。

分布式版

EventLog Analyzer - 分布式版 采用分布式部署方式。这个架构由一个管理服务器和N个被管服务器组成。被管服务器安装在不同的地理位置（每个局域网环境一个），并连接到管理服务器。这让网络管理员可以在中心地点远程查看不同主机/应用程序日志的详细信息。所有的报表、告警和其他主机/应用程序信息都可以通过一个控制台访问。这种架构有益于拥有全球范围的不同分支机构的大型企业管理者进行管理。这对安全服务提供商（MSSP）来说是一个利好。他们可以在一个地点监控客户不同位置安装的被管服务器。

5.1.4、EventLog Analyzer 工作流程

1. 日志统一集中管理 - 对采集的所有日志、事件和告警信息统一完整存储，帮助企业和组织建立一个集中日志数据库，为故障排除和信息取证提高可靠的来源和依据。
2. 过滤与钻取机制 - 根据事件类型、严重程度等设置日志过滤规则，有选择地保存关键的事件日志，便于搜索特定事件和优化数据库容量。从事件报表深入钻取，查看有关某台主机或设备的事件具体信息。
3. 日志数据关联功机制 - 为了解除复杂的网络攻击，IT安全管理人员必须对网络基础架构的日志数据进行实时关联。在攻击或破坏发生之前，主动检测网络上的异常事件。日志数据相关性自动检测并提供关于漏洞、网络用户活动、策略违规、网络异常、系统停机时间和网络安全威胁的实时告警。
4. 实时告警与自动响应 - 系统预定义丰富的告警标准，同时支持灵活自定义告警的标准，便于监控特定的对象。当生成的事件符合标准时，系统产生告警并自动通过短信、Email、SNMP Trap等方式通知用户，并能够自动执行预定义命令行程序。
5. 自动报表 - 内置丰富的Top-N、趋势、合规性和用户活动报表，并支持创建自定义报表，便于通过报表和图表数据直观查看和分析事件日志的分析结果。系统还能够自动生成分析报告，输出PDF或CSV格式文件，并通过Email提交给用户。
6. 分布式日志审计 - 提供分布式版本，便于从分布式网络采集和分析事件日志，实现日志统一管理。满足跨地域企业和管理服务提供商的日志审计需求，降低企业总体拥有成本(TCO)。

5.1.5、EventLog Analyzer 特点

• ① 记录管理

在统一控制台中收集和分析来自所有终端设备的记录。
系统日志管理：收集和分析来自各种设备的日志，并帮助管理员通过报告和图表深入了解网络中发生的情况。
全面的日志收集：EventLog
Analyzer可以从不同的操作系统或应用程序、数据库、路由器等各种来源收集日志。
管理事件日志：通过收集、分析和分类各类日志，方便以后搜索。
收集带或不带代理的日志：您可以从带或不带代理的设备收集事件日志。

• ② 申请审查和审核

监控所有应用程序服务器并查看特定应用程序。
监控应用程序日志：如 IIS、Apache 和数据库程序，如 Microsoft SQL Server 等。
查看服务器和数据库活动：包括对帐户的访问和更改，以及服务器启动和关闭、备份和恢复 等等
Microsoft IIS Web 服务器分析：EventLog Analyzer 监控访问、使用、错误和任何尝试的服务器渗透的行为。

• ③ 网络硬件监控

网络设备主要负责传输重要信息，因此 EventLog 充当看门狗，以防止任何信息泄漏。
审核 VPN 日志：获取用户的 VPN 使用详情，包括登录信息。
监控路由器和交换机日志：使用EventLog Analyzer，您可以分析和监交换机网络和 HP 路由器用户的活动，并识别威胁网络安全的异常事件。
IDS/IPS 监控：获取有关网络威胁、攻击类型、使用的设备等的信息。

• ④ 符合 IT 标准

合规管理以符合最佳国际标准的条件要求。
资源审计：符合各种标准，包括 ISO、GPG、GDPR、HIPAA、SOX、ISLP 等。
定制报告：根据您的工作环境和要求准备报告以跟进标准。

• ⑤ 安全分析

跟踪安全事件，并通过高级分析获得综合洞察力。
系统日志监控：优化网络和中央服务器活动的监控。
监控 Windows 设备上的事件日志并获取详细报告和安全警报。
保存和搜索：通过保存搜索查询来了解最新的安全事件。

• ⑥ 威胁分析

通过检测威胁并加以缓解，保护网络免受黑客攻击和信息盗窃的风险。
Windows 威胁监控：保护 Windows 环境中的安全工具，例如漏洞扫描程序等。
文件完整性监控：EventLog Analyzer跟踪重要的文件更改，例如文件和文件夹的删除、创建、权限、修改和重命名。
保护 Linux 系统文件：突出显示 Linux 系统文件中的更改。
跟踪用户活动：尤其是特权用户，因为该程序会检测到可疑的事情，例如重复登录失败或在正式工作时间之外尝试登录。
通过对模式和类型的分类和识别，快速检测安全威胁。
智能反威胁：关于恶意流量、被阻止 IP 地址或 URL 黑名单活动的警报。

• ⑦ 多平台审核

通过对所有环境（如操作系统、云计算系统和漏洞管理）使用适当的报告模型来满足审计和审计需求。
与 VMWare Server 等虚拟环境交互，EventLog 将能够在其中管理此类设备的日志。
还跟踪和审核不同的设备，例如 Syslog 和 Windows。

5.2、Graylog

5.2.1、简介

graylog是一个开源集中式日志管理系统，提供日志收集、存储、分析、展现和告警的功能，为网络工程师提供一个令设备日志信息变得可聚合、可管理、有意义的工具。作为一位合格的后端开发程序员，说起ELK，即便没用过肯定也听说过这玩意了，在后端是真的流行。而GrayLog 可以算是轻量级ELK。GrayLog是一个轻量型的分布式日志管理平台，一个开源的日志聚合、分析、审计、展示和预警工具。在功能上来说，和 ELK类似，但又比 ELK要简单轻量许多。依靠着更加简洁，高效，部署使用简单的优势很快受到许多公司的青睐。

GrayLog包含 Elasticsearch、MongoDb 和 Graylog三个模块。其中，Elasticsearch用来持久化存储和检索日志文件数据，MongoDb 用来存储关于 Graylog的相关配置，而 Graylog用来提供 Web 界面和对外接口。

官网地址：https://graylog.org/

5.2.2、效果图

5.2.3、日志管理架构

单机

集群

5.2.4、Graylog 核心功能

• Streams功能：对收到的syslog进行标签分类，实时将syslog按预设规则分流到不同的stream，然后保存到指定index中，在进行后续处理。
• Search功能：在Search页面用户可以直接用简单的语法对syslog进行搜索。
• Dashboards功能：可视化展示syslog，这块我暂时没有用到。
• Alerts功能：当符合预设的条件（Conditions）时会生成事件（event），继而触发各种通知（notification）。

5.2.5、Graylog 特点

• 强大的搜索和过滤功能：Graylog提供了强大的搜索语言和过滤器，使您可以轻松地查找关键信息。
• 高级警报和通知功能：您可以设置警报规则，以便在特定事件发生时及时通知团队。
• 用户友好的仪表板和可视化：Graylog的仪表板使您能够可视化数据，监视系统性能和趋势。

5.3、Logcheck

5.3.1、简介

Logcheck用来分析庞大的日志文件，过滤出有潜在安全风险或其他不正常情况的日志项目，然后以电子邮件的形式通知指定的用户。Logcheck是一个软件包，用于自动运行和检查系统日志文件，查看是否存在安全违规和异常活动。Logcheck使用一个名为logtail的程序，该程序会记住它在日志文件中读取的最后一个位置，并在后续运行中使用该位置来处理新信息。这个软件包有一些功能，但可能更容易使用，因为它不需要一个持续运行的程序，并且可以将许多系统的所有结果发送回单个位置。此外，它还报告您以前可能没有见过的任何异常系统消息，这是一个明显的优势，因为通常不可能知道可能从守护程序进入日志的每个可能的系统日志消息。

5.3.2、效果图

5.3.3、日志文件过滤

该日志系统开发了三种不同级别的日志文件过滤，包括：

• 偏执狂：适用于运行尽可能少的服务的高安全性系统。
• 服务器：这是 logcheck 的默认过滤级别，它的规则是为许多不同的系统守护进程定义的。偏执级别下定义的规则也包含在该级别下。
• 工作站：它用于受保护的系统，有助于过滤大部分消息。它还包括在偏执狂和服务器级别下定义的规则。

Logcheck 还能够将要报告的消息分类为三个可能的层，包括安全事件、系统事件和系统攻击警报。系统管理员可以根据过滤级别选择报告系统事件的详细级别，但这不会影响安全事件和系统攻击警报。

5.3.4、Logcheck 功能

• 预定义的报告模板。
• 一种使用正则表达式过滤日志的机制。
• 即时电子邮件通知。
• 即时安全警报。

5.4、Logwatch

5.4.1、简介

Logwatch是一个开源且高度可定制的日志收集和分析应用程序。它解析系统和应用程序日志，并生成有关应用程序运行情况的报告。报告通过命令行或专用电子邮件地址发送

5.4.2、效果图

5.4.3、Logwatch分层方法

您可以通过修改/etc/logwatch/conf路径中的参数轻松地根据您的喜好自定义 Logwatch 。它还以预先编写的 PERL 脚本的方式提供了一些额外的东西，使日志解析更容易。

Logwatch采用分层方法，配置详细信息定义在 3 个主要位置：

• /usr/share/logwatch/default.conf/*
• /etc/logwatch/conf/dist.conf/*
• /etc/logwatch/conf/*

所有默认设置都在/usr/share/logwatch/default.conf/logwatch.conf文件中定义。推荐的做法是保持此文件不变，而是通过复制原始配置文件然后定义您的自定义设置，在/etc/logwatch/conf/路径中创建您自己的配置文件。支持直接使用journalctl查询systemd日志。如果您买不起专有的日志管理工具，Logwatch会让您高枕无忧，因为它知道所有事件都会被记录下来，并在出现问题时发送通知。

5.5、ELK/Logstash

5.5.1、简介

Logstash是一个数据同步工具，在ELK（Elasticsearch + Logstash + Kibana）技术栈中解决数据同步问题。日常项目中数据主要存储在MYSQL、日志文件中，通过Logstash可以将MYSQL、日志文件、redis等多种数据源的数据同步到ES，这样就可以通过ES搜索数据。是一种分布式日志收集框架，开发语言是JRuby，与Java平台对接，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。

简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；

同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供很多功能强大的滤网以满足你的各种应用场景。

它可以单独出现，作为日志收集软件，收集日志到多种存储系统或临时中转系统，如MySQL，Redis，Kakfa，HDFS, Lucene，Solr等，并不一定是ElasticSearch。

官网：https://github.com/elastic/logstash

5.5.2、效果图

5.5.3、日志管理架构

数据源–>input–>fliter–>output–>目的地

因为数据往往分散的存储在不同的数据源（数据库）中，数据源可以为mysql\redis\kafka\HDFS，Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从源头日志、指标、Web 应用、数据存储采集数据。

fliter过滤器：用于在将event通过output发出之前对其实现某些处理功能。
grok：用于分析结构化文本数据。

目前是logstash中将非结构化数据日志数据转化为结构化的可查询数据的不二之选

5.5.4、Logstash 工作原理

Logstash同步数据，主要有三个核心环节：inputs → filters → outputs，流程如下图

inputs模块负责收集数据，filters模块可以对收集到的数据进行格式化、过滤、简单的数据处理，outputs模块负责将数据同步到目的地，Logstash的处理流程，就像管道一样，数据从管道的一端，流向另外一端。

提示：inputs/filters/outputs是通过插件机制扩展各种能力。

inputs ，inputs可以收集多种数据源的数据，下面是常见的数据源：

• file - 扫描磁盘中的文件数据，例如： 扫描日志文件。
• mysql - 扫描Mysql的表数据
• redis
• Filebeat - 轻量级的文件数据采集器，可以取代file的能力。
• 消息队列kafka、rabbitmq等 - 支持从各种消息队列读取数据。

filters，filters是一个可选模块，可以在数据同步到目的地之前，对数据进行一些格式化、过滤、简单的数据处理操作。
常用的filters功能：

• grok - 功能强大文本处理插件，主要用于格式化文本内容。
• drop - 丢弃一些数据

outputs，Logstatsh的最后一个处理节点，outputs负责将数据同步到目的地。
下面是常见的目的地：

• elasticsearch
• file - 也可以将数据同步到一个文件中

5.5.5、执行模型

（1）每个Input启动一个线程，从对应数据源获取数据
（2）Input会将数据写入一个队列：默认为内存中的有界队列（意外停止会导致数据丢失）。为了防止数丢失Logstash提供了两个特性：
Persistent Queues：通过磁盘上的queue来防止数据丢失
Dead Letter Queues：保存无法处理的event（仅支持Elasticsearch作为输出源）
（3）Logstash会有多个pipeline worker, 每一个pipeline worker会从队列中取一批数据，然后执行filter和output（worker数目及每次处理的数据量均由配置确定）

5.5.6、Logstash优点

1. 可伸缩性
   节拍应该在一组Logstash节点之间进行负载平衡。建议至少使用两个Logstash节点以实现高可用性。
   每个Logstash节点只部署一个Beats输入是很常见的，每个Logstash节点可以部署多个Beats输入，以便为不同数据源公开独立的端点。
2. 弹性
   Logstash持久队列提供跨节点故障的保护。对于Logstash中的磁盘级弹性，确保磁盘冗余非常重要。对于内部部署，建议您配置RAID。在云或容器化环境中运行时，建议您使用具有反映数据SLA的复制策略的永久磁盘。
3. 可过滤
   对事件字段执行常规转换。您可以重命名，删除，替换和修改事件中的字段。
4. 可扩展
   插件生态系统，提供超过200个插件，以及创建和贡献自己的灵活性。

5.6、OpenObserve

5.6.1、简介

OpenObserve 是一个基于 Rust 的开源平台，可以通过支持日志、指标和追踪来满足你所有的可观察性需求。它的目标是提供一个平台，该平台可以替代 Prometheus 用于指标、Elasticsearch 用于日志、Jaeger 用于链路追踪、Grafana 用于仪表板等，并且他还可以和 S3、GCS、Minio、Azure Blob 等对象存储服务兼容使用，比 Elasticsearch 低 140 倍的存储成本。

使用 OpenObserve，你不需要学习新的查询语言来查询日志，因为它支持 SQL 作为其主要的日志和追踪查询语言，以及 PromQL 用于查询指标数据。它也非常容易安装和操作，由于其基于 Rust 来编写的，所以它只需要很少的资源来运行。

它还提供了一个直观且易于使用的 UI 界面，允许你管理和可视化你正在收集的各种可观察性数据。在摄取或查询时，你可以丰富、解析、删除敏感数据，并删除日志的不需要的部分，以便只留下相关的部分。

OpenObserve 还提供了一个内置的报警机制，可以将警报发送到 Slack、Microsoft Teams 和其他渠道。它还支持团队成员之间的协作，并使用基于角色的访问控制来根据团队成员的级别控制对数据的访问，确保你的数据的整体安全。

官网地址：https://openobserve.ai/

5.6.2、效果图

5.6.3、日志管理架构 - 单节点

OpenObserve 可以在单节点下运行，也可以在集群中以 HA 模式运行。单节点模式也分几种架构，主要是数据存储的方式不同，主要有如下几种：

• Sled 和本地磁盘模式

如果你只需要进行简单使用和测试，或者对高可用性没有要求，可以使用此模式。当然你仍然可以在一台机器上每天处理超过 2 TB 的数据。在我们的测试中，使用默认配置，Mac M2 的处理速度为约 31 MB/秒，即每分钟处理 1.8 GB，每天处理 2.6 TB。该模式也是运行 OpenObserve 的默认模式。

• Sled 和对象存储模式

该模式和 OpenObserve 的默认模式基本上一致，只是数据存在了对象存储中，这样可以更好的支持高可用性，因为数据不会丢失。

• Etcd 和对象存储模式

该模式是使用 Etcd 来存储元数据，数据仍然存储在对象存储中。

5.6.4、日志管理架构 - HA 模式

OpenObserve 可以在单节点下运行，也可以在集群中以 HA 模式运行。HA 模式不支持本地磁盘存储，集群模式下 OpenObserve 会运行多个节点，每个节点都是无状态的，数据存储在对象存储中，元数据存储在 Etcd 中，这样可以更好的支持高可用性，因为数据不会丢失。

在该模式下 OpenObserve 主要包括 Router、Querier、Ingester 和 Compactor 四个组件，这些组件都可以水平扩展；Etcd 用于存储用户、函数、报警规则和集群节点信息等元数据；对象存储（例如 s3、minio、gcs 等等）存储 parquet 文件和文件列表索引的所有数据。

• Router：Router 路由器将请求分发给 ingester 或 querier，它还通过浏览器提供 UI 界面。Router 实际上就是一个非常简单的代理，用于在数据摄入程序和查询程序之间发送适当的请求并进行响应。
• Ingester：Ingester 用于接收摄取请求并将数据转换为 parquet 格式然后存储在对象存储中，它们在将数据传输到对象存储之前将数据临时存储在 WAL 中。
• Querier：Querier 用于查询数据，查询器节点是完全无状态的。
• Compactor：Compactor 会将小文件合并成大文件，使搜索更加高效。Compactor 还处理数据保留策略、full stream 删除和文件列表索引更新。

5.6.5、OpenObserve 特点

• 简单易用：与Elasticsearch相比，OpenObserve的操作非常简单，几乎不需要理解和调整大量参数即可快速上手。您只需花费不到2分钟的时间，即可开始使用OpenObserve。
• 降低存储成本：通过使用OpenObserve，您可以将日志存储成本降低约140倍，相比于Elasticsearch，这是一个巨大的节省。
• 高性能：OpenObserve提供高性能的日志、指标和跟踪处理能力，能够处理宠字节级规模的数据，满足大规模应用的需求。
• 丰富的功能：OpenObserve提供了多种功能，包括日志、指标、跟踪的处理、警报和仪表盘等。它还提供了丰富的内置功能，如数据增强、数据脱敏、日志压缩等，无需学习额外的查询语言。
• 开源兼容：OpenObserve是一个开源项目，您可以自由地修改和定制，满足自己的特定需求。

5.7、Grafana Loki

5.7.1、简介

Loki 是由 Grafana 团队制作的一个日志管理系统，它根据开源 AGPLv3 许可证发布。由于其日志存储机制，它是独一无二的，只对每个日志流的标签和元数据进行索引，而不是日志的内容。这使它需要更少的存储空间，也可以更快地处理日志消息。然而，这种方式的缺点是，与其他平台相比，它在日志搜索功能上就不那么好用了。

它使用 Promtail（专门为 Loki 构建的日志收集器）通过 HTTP API 拉取日志。然后将日志分组成流并用标签进行索引，但是为了提高性能和降低存储成本，日志的文本并未被索引。一旦日志在 Loki 中，它们可以使用 Loki 的查询语言 LogQL 进行检索。它还与 Grafana 无缝集成，用于通过其可定制的仪表板显示从日志数据生成的各种数据。

Loki 还提供了一个强大的报警系统，你可以创建在满足某些条件时将触发的规则，然后将它们发送到 Prometheus AlertManager，然后将它们路由到适当的目的地，这确保了能够快速识别并及时解决关键问题。

官网地址：https://github.com/grafana/loki

5.7.2、效果图

5.7.3、日志管理架构

根据 Grafana Labs 建立和运行 Cortex 的经验–作为服务运行的 Prometheus 的水平可扩展的分布式版本–想出了以下架构：

指标和日志之间的元数据匹配对我们来说至关重要，Grafana Labs 最初决定只针对 Kubernetes。想法是在每个节点上运行一个日志收集代理，用它来收集日志，与 kubernetes 的 API 对话，为日志找出正确的元数据，并将它们发送到一个中央服务，可以用它来显示在 Grafana 内收集的日志。

该代理支持与 Prometheus 相同的配置（relabelling rules），以确保元数据的匹配。我们称这个代理为 promtail。

深入 Loki —— 可扩展的日志收集引擎：

写入路径和读取路径（查询）是相互脱钩的，分开说明：

5.7.4、Grafana Loki 可伸缩性

1. Loki 把块的数据放到对象存储中，这样就可以扩展了。
2. Loki 把索引放到 Cassandra/Bigtable/DynamoDB 或 Loki 内置的 index db 中，这也是可以扩展的。
3. Distributors 和 Queriers 是无状态组件，可以横向扩展。

说到 ingester，它是一个有状态的组件，但 Loki 已经将完整的分片和重新分片的生命周期纳入其中。当 rollout 工作完成后，或者当 ingester 被扩大或缩小时，环形拓扑结构会发生变化，ingester 会重新分配它们的块，以匹配新的拓扑结构。这主要是取自 Cortex 的代码，它已经在生产中运行了 5 年多。

5.8、SigNoz

5.8.1、简介

SigNoz 是一个日志收集和分析工具，可以收集和管理来自各种来源的日志、指标、跟踪和异常。它为使用 OpenTelemetry 检测应用程序提供本机支持，以防止供应商锁定，将收集到的数据存储在 ClickHouse 中，然后在用户友好的仪表板中聚合和可视化数据。借助 SigNoz，您可以使用其查询生成器、PromQL 或 ClickHouse 查询轻松设置警报的动态阈值。其查询生成器简化了搜索和过滤日志的过程，任何触发的警报都会通过 Slack、PagerDuty 等渠道向您发送通知。SigNoz 还支持与流行框架和技术的集成，使其与广泛的应用程序堆栈兼容。这使您能够主动监控和优化各种服务，以提高其性能、更快地排除故障和修复问题，并增强其整体可靠性。

SigNoz 采用模块化架构构建，可以轻松扩展以满足您不断增长的需求。您可以灵活地定义自己的保留期和采样率，仅根据应用程序负载优化数据存储成本。

官网地址：https://github.com/SigNoz/signoz

5.8.2、效果图

5.8.3、日志管理架构

SigNoz自身不提供采集器，完全复用 OpenTelemetry 的能力，不过 Otel Collector 这块它在架构图里冠以 SigNoz，不知道是否对社区的 Collector 做了二次开发，存储使用 ClickHouse，SigNoz 自己用 Go 开发了 Query Service 组件和 Alert Manager 组件，前端使用 React 开发。

从数据流上来讲，应用程序埋点推送监控数据给 Otel Collector，Otel Collector 对数据做初步处理，之后直接写入 ClickHouse，写入链路就算完事了。前端和 Alert Manager 对 ClickHouse 的查询会统一发给 Query Service，Query Service 会把 HTTP 请求转换为 ClickHouse 的 TCP 查询语句。

5.8.4、SigNoz 特性

 1、开箱即用的应用程序指标
 2、从指标到跟踪以找出某些问题发生的原因的方法
 3、可观察性的三大支柱：指标、跟踪和日志平台集成性
 4、根据不同的标签和过滤器过滤追踪
 5、能够为警报设置动态阈值
 6、若商业化，定价尽可能透明

5.9、Syslog-ng

5.9.1、简介

Syslog-ng 是一个开源的日志管理解决方案，主要用于收集和处理日志数据。它可以从多种源收集日志，包括系统日志、网络设备日志和第三方应用日志。然后将日志解析、分类、重写和关联到统一格式中，然后将其存储或安全地传输到不同的系统（如 Apache Kafka 或 Elasticsearch）。这消除了您部署多个代理的需要，因为它允许您在一个地方执行所有数据管理过程。

Syslog-ng 提供快速搜索和故障排除功能，并使用正则表达式和布尔运算符进行复杂过滤，使您能够轻松实时定位、过滤和解析日志消息。这有助于快速提取关键信息，并因此加快故障排除和问题解决速度。通过利用其多线程处理结构，Syslog-ng 可以实现卓越的性能，在配置依赖下每秒处理超过 500k 条日志消息。

通过使用 C、Python、Java、Lua 或 Perl 编写的插件，可以扩展其功能以适应任何用例。Syslog-ng 支持 RFC3164、RFC5424、JSON 和 Journald 等不同的消息格式。它可以在多个操作系统和架构上运行，包括 Linux、Solaris 和 BSD。它还支持 UDP、TCP、TLS 和 RELP 等各种日志传输协议，实现安全可靠的日志传输。

官网地址：https://github.com/syslog-ng/syslog-ng

5.9.2、效果图

5.9.3、日志管理架构

syslog-ng的配置基于下面的架构：
LOG STATEMENTS『SOURCES － FILTERS －DESTINATIONS』
消息路径 『消息源 － 过滤器 － 目的站』
也就是说，通过定义多个消息源，把匹配上若干个过滤器的消息导向到指定的目的地，从而组成一个消息路径。

5.9.4、syslog-ng模式

• 客户端模式（client mode）
• 服务端模式（server mode）
• 中继模式（Relay mode）

5.9.5、syslog-ng 特点

1、可靠的日志传输。syslog-ng 允许你发送日志到远程的日志服务器上。传输过程使用 TCP ,区别于 syslog 的 UDP ,可以确保不会丢失数据
2、通过使用 SSL/TLS 来加密日志传输过程。不过这个功能只有在 premium 版本才提供。
3、基于磁盘的缓冲。syslog-ng 可以在网络连接失效时先把日志写入硬盘,等网络连接恢复时再传输到日志服务器上,而且确保日志的顺序不会混乱。不过这个功能也是 premium 版本才提供的。
4、直接数据库访问。能够把日志直接存入数据库,以便进行搜索及配合日志分析应用程序。支持 MySQL、Oracle、PostgreSQL、SQLIife ,同样也是 premium 才支持
5、支持多种操作系统。包括 Linux、Unix、BSD、Solaris、HP-UX、AIX 等。甚至还可以通过代理和 Windows 主机进行通信
6、过滤器和归类。syslog=ng 应用程序可以根据收的喔的日志的内容进行排序、或者根据源ip、应用程序、优先级等。可以通过宏自动建立目录、文件、数据库。支持 regex 和布尔表达式,确保只转发你想要的内容
7、支持 ipv4 和 ipv6

5.10、Highlight.io

5.10.1、简介

Highlight.io 是一个开源的日志管理工具，专为开发者和运维团队设计，用于收集、索引和分析日志数据。它使用 Elasticsearch 作为其后端存储，提供了一个强大的搜索和分析功能。
Highlight 是一个全栈监控平台，不仅提供日志管理，还提供会话重放和错误监控，利用 ClickHouse 进行数据存储和检索。它旨在使您能够跟踪应用程序的行为、识别错误或错误、分析日志并轻松找到性能问题的根本原因。
只需两行代码，您就可以在安装此工具后开始使用它进行日志记录。它将立即开始从您的应用程序收集日志。然后可以轻松搜索和查询这些日志消息和属性。它还允许您将警报设置为当日志达到指定阈值时所需的频率。您将通过支持的渠道收到通知，包括电子邮件、Slack、Discord 或 webhooks。
Highlight 与所有流行的现代框架无缝集成，例如 Python、Golang、Node.js、React、Rails 等等。它允许您以可理解和可操作的方式可视化基础设施的每个部分，从用户点击到服务器错误。它提供免费计划以及灵活的即用即付定价计划，您当然可以自行托管。

官网地址：https://www.highlight.io/

5.10.2、效果图

5.10.3、Highlight 特性

• 创作者可以定制其品牌公共社区，并与其 Stripe、Polygon 或 Metamask 支付、Shopify 电子商务和 Discord 社区堆栈集成。另外，定制社区的访问是有限制的，该部分与奖励系统可由创作者自定义。
• 粉丝可以通过购买创作者发布的会员 NFT 来参与项目和社区发展。
• 会员可以获得访问私人社区、封闭式内容和独家福利的权限。
• 每次购买和出售会员资格或福利时，创作者都会获得一定比例的收入分成。

5.11、Filebeat

5.11.1、简介

Filebeat是一种轻量型日志采集器，内置有多种模块（auditd、Apache、NGINX、System、MySQL 等等），可针对常见格式的日志大大简化收集、解析和可视化过程，只需一条命令即可。之所以能实现这一点，是因为它将自动默认路径（因操作系统而异）与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。不仅如此，数个 Filebeat 模块还包括预配置的 Machine Learning 任务。另一点需要声明的是：根据采集的数据形式不同，形成了由多个模块组成的Beats。Beats是开源数据传输程序集，可以将其作为代理安装在服务器上，将操作数据发送给Elasticsearch，或者通过Logstash，在Kibana中可视化数据之前，在Logstash中进一步处理和增强数据。

Beat日志采集流程图：

5.11.2、效果图

官网地址：https://www.elastic.co/cn/beats/filebeat

5.11.3、架构与工作流程

工作流程如下：
当启动 Filebeat 程序时，它会启动一个或多个查找器去检测指定的日志目录或文件。对于查找器 prospector 所在的每个日志文件，FIlebeat 会启动收集进程 harvester。 每个 harvester 都会为新内容读取单个日志文件，并将新日志数据发送到后台处理程序，后台处理程序会集合这些事件，最后发送集合的数据到 output 指定的目的地。

除了图中提到的各个组件，整个 filebeat 主要包含以下重要组件：

• Crawler：负责管理和启动各个 Input
• Input：负责管理和解析输入源的信息，以及为每个文件启动 Harvester。可由配置文件指定输入源信息。
• Harvester: 负责读取一个文件的信息。
• Pipeline: 负责管理缓存、Harvester 的信息写入以及 Output 等，是 Filebeat 最核心的组件。
• Output: 输出源，可由配置文件指定输出源信息。
• Registrar：管理记录每个文件处理状态，包括偏移量、文件名等信息。当 Filebeat 启动时，会从 Registrar 恢复文件处理状态。

filebeat 的整个生命周期，几个组件共同协作，完成了日志从采集到上报的整个过程。

5.11.4、Filebeat特点

1. 轻量型日志采集器，占用资源更少，对机器配置要求极低。
2. 操作简便，可将采集到的日志信息直接发送到ES集群、Logstash、Kafka集群等消息队列中。
3. 异常中断重启后会继续上次停止的位置。（通过${filebeat_home}\data\registry文件来记录日志的偏移量）。
4. 使用压力敏感协议（backpressure-sensitive）来传输数据，在logstash 忙的时候，Filebeat 会减慢读取-传输速度，一旦 logstash 恢复，则 Filebeat 恢复原来的速度。
5. Filebeat带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。

5.11.5、Filebeat主要组成

? Filebeat 由两个主要组件组成：harvester 和 prospector。

• harvester（采集器）： 主要职责是读取单个文件的内容。读取每个文件，并将内容发送到 the output。 harvester 负责打开和关闭文件，这意味着在运行时文件描述符保持打开状态。如果文件在读取时被删除或重命名，Filebeat 将继续读取文件。

• ?prospector（查找器）： 主要职责是管理 harvester 并找到所有要读取的文件来源。如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个 harvester。

? 注：Filebeat prospector只能读取本地文件， 没有功能可以连接到远程主机来读取存储的文件或日志。

5.12、LogDNA

5.12.1、简介

LogDNA成立于2013年，是一家美国日志管理应用程序提供商，可以收集和分析来自各个渠道的日志，并且通过Syslog、代码库或其他代理发送日志。
LogDNA的特色在于它可以从30多个业界最流行的环境收集多个部署的日志，每秒可处理数十万个日志事件，每个客户每天可处理超过20 TB的日志事件，同时提供SOC2，HITECH，PCI-DSS和HIPAA兼容的日志记录。

LogDNA是一种现代的云原生日志管理和分析解决方案，旨在简化日志管理。它为开发人员和运维团队提供了一个云原生、易于使用的平台，用于轻松地收集、分析和监视分布式应用程序的日志数据

官网地址：https://github.com/logdna

5.12.2、效果图

5.12.3、价格

• 免费：无存储
• 收费：付费计划起价为每月每GB 1.50 美元，保留 7 天

5.12.4、LogDNA 特点

• 用于在组织外部共享日志的嵌入式视图
• 自动解析常用日志格式
• 云原生，易于部署：LogDNA的云原生架构使其易于部署和扩展，无需繁重的基础设施管理。
• 即时搜索和实时分析：您可以实时搜索和分析日志数据，无需等待批处理作业。
• 高度可扩展：LogDNA支持高度可扩展的架构，适应不断增长的日志数据。
• 高级的协作和团队功能：LogDNA提供了协作和??团队功能，使团队能够协同工作并共享洞察。

5.13、Datadog/DataLog

5.13.1、简介

Datadog 是一种 SaaS，最初是作为监控 (APM) 工具，后来还添加了日志管理功能。

可以通过 HTTP(S) 或 syslog，通过现有的日志传送器（rsyslog、syslog-ng、Logstash 等）或通过 Datadog 自己的代理发送日志。

它的特点是 Logging without Limits?，这是一把双刃剑：更难预测和管理成本，但您可以获得即用即付定价（见下文）以及您可以存档和从存档中恢复的事实。

使用Datadog可以记录和搜索来自各种设备和应用程序的日志数据。Datadog的可视化以图形的形式显示日志数据，因此可以看到网络性能随时间的变化情况。

5.13.2、效果图

5.13.3、Datadog/DataLog 特点

如果需要进一步自定义，则可以通过拖放创建唯一的日志分析仪表板。可以实时和历史地查看日志数据。一旦Datadog记录了日志数据，就可以使用过滤器来确定列出的信息。

为了防止日志数据泄露，Datadog使用集中存储，以便服务器上不会留下任何数据。集中存储的主要好处是你的数据在发生中断时受到保护。

还有智能警报使用机器学习来检测异常日志模式和错误。警报可以通过Slack和PagerDuty等工具发送。

Datadog提供14天免费试用版。

5.14、Fluentd

5.14.1、简介

Fluentd 是一个免费，而且完全开源的日志管理工具，简化了日志的收集、处理、和存储，你可以不需要在维护编写特殊的日志处理脚本。

Fluentd为处理数据流设计，有点像 syslogd（syslogd可以负责记录系统运作中，kernel或应用程式产生的各种讯息。这些讯息被写入到系统的纪录档中，让管理人员，进行故障排除、追踪尝试非法入侵的使用者） ，但是使用JSON作为数据格式。它采用了插件式的架构，具有高可扩展性高可用性，同时还实现了高可靠的信息转发。

据 分(Y)析(Y)，Fluentd是由Fluent+d得来，d生动形象地标明了它是以一个守护进程的方式运行。官网上将其描述为data collector，在使用上，我们可以把各种不同来源的信息，首先发送给Fluentd，接着Fluentd根据配置通过不同的插件把信息转发到不同的 地方，比如文件、SaaS Platform、数据库，甚至可以转发到另一个Fluentd。

官网文档：https://docs.fluentd.org/

5.14.2、效果图

5.14.3、日志管理架构

5.14.4、Fluentd 特点

1）安装方便
2）占用空间小
3）半结构化数据日志记录
4）灵活的插件机制
5）可靠的缓冲
6）日志转发

5.14.5、Fluentd 作用

使用Fluentd前，日志系统的状态：

使用Fluentd后，日志系统的状态：

5.15、Splunk

5.15.1、简介

Splunk 是最早的商业日志集中工具之一，也是最受欢迎的。尽管它也作为服务提供 (Splunk Cloud)，但典型的部署是本地部署 (Splunk Enterprise)。您可以将日志和指标发送到 Splunk 并一起分析它们。
Splunk 是一款功能完善、强大的数据和日志分析平台，涵盖机器数据收集、索引、搜索、监控、分析、可视化、告警等功能。
Splunk经过多年的发展，功能已经十分强大且灵活。它允许用户在其上自定义应用(App)，目前提供的官方和非官方应用多达数百个，且大多数均可以免费下载并使用。同时，Splunk还提供了强大API集，开发人员可以使用Python、Java、JavaScript、Ruby、PHP、C# 编程语言开发应用程序。

为确保不会遗漏任何重要内容，Splunk会提供实时警报。警报可以通过电子邮件或RSS发送。警报具有可配置的阈值和触发条件，因此可以确定将生成通知的活动。警报中包含的支持信息可帮助你缩短事件解决时间。
Splunk可在Windows，Mac OS和Linux上使用。Splunk有三种版本：Splunk Enterprise，Splunk Cloud和Splunk Free。Splunk Enterprise每天支持用户和量的数据。Splunk Cloud是一种云服务，支持用户和数据。
Splunk Free是免费提供的，每位用户最多可以支持500 MB的数据。

5.15.2、效果图

5.15.3、Splunk 特点

• 用于搜索和分析的强大查询语言
• 搜索时字段提取（在摄取时解析之外）
• 自动将经常访问的数据移动到快速存储，将不经常访问的数据自动移动到慢速存储。
• 强大的搜索和可视化工具：Splunk提供了高级搜索语言和可视化工具，用于查找和理解日志数据。
• 安全和合规性功能：它具备强大的安全和合规性功能，适用于敏感数据和合规性要求的环境。
• 可扩展性和集成能力：Splunk可以与各种其他工具和系统集成，提供了广泛的扩展性。

除了出色的监控，安全响应是 Splunk ES 的另一个强项。该系统使用 Splunk 所称的自适应响应框架( ARF )，该框架集成了超过 55 家安全供应商的设备。ARF 执行自动响应，加速手动任务。这会让你迅速占据上风。再加上一个简单而整洁的用户界面，您就有了一个成功的解决方案。其他有趣的功能包括显示用户可自定义警报的 Notables 功能和用于标记恶意活动并防止进一步问题的资产调查员。

Splunk ES 是真正的企业级产品，这意味着它带有企业级价格标签。遗憾的是，无法从 Splunk 的网站上轻松获得定价信息。您需要联系销售部门以获得报价。如果您想试用该产品，联系 Splunk 还可以让您享受免费试用。

5.15.4、产品导览

• 1、索引任何数据
• 2、搜索和调查
• 3、与搜索结果互动
• 4、新增知识
• 5、关联复杂事件
• 6、监视和警报
• 7、报告和分析
• 8、自定义仪表板和视图
• 9、构建和部署 Splunk 应用程序

5.16、ManageEngine Log360

5.16.1、简介

ManageEngine Log360是一种SIEM或安全分析解决方案，可帮助您应对本地、云端或混合环境中的威胁。
它还可以帮助组织遵守 PCI DSS、HIPAA、GDPR 等合规性要求。您可以自定义解决方案以满足您独特的用例并保护您的敏感数据。
借助Log360，您可以监控和审核在 Active Directory、网络设备、员工工作站、文件服务器、数据库、Microsoft 365 环境、云服务等中发生的活动。
Log360关联来自不同设备的日志数据，以检测复杂的攻击模式和高级持续性威胁。该解决方案还带有基于机器学习的行为分析，可以检测用户和实体行为异常并将它们与风险评分相结合。
安全分析以 1000 多个预定义的可操作报告的形式呈现。可以执行日志取证以找到安全挑战的根本原因。
内置的事件管理系统允许您通过智能工作流和与流行的票务工具的集成来自动执行补救响应。
该解决方案可以在本地安装，也可以在云端作为 Log360 Cloud 使用。通过电话、电子邮件和其他在线资源提供支持。

5.16.2、效果图

5.16.3、ManageEngine Log360 特点

• Log360的高级威胁分析模块将网络活动与动态的全球威胁源进行关联，以在早期阶段发现入侵。分析仪表板可深入了解攻击指标，例如攻击源，恶意IP / URL地址的信誉得分等。
• Log360的UEBA附加组件采用机器学习算法来为正常的用户和实体行为设定基线，准确地检测可疑活动，并为网络中的每个用户和实体关联风险评分。通过风险评分，您可以更轻松地发现原本难以检测的持续性和针对性攻击。
• Log360的有效事件管理系统和自动化的工作流响应系统可以通过抑制横向移动并减少攻击的影响来帮助您立即补救威胁。

5.16.4、主要服务

• 通过证实来自威胁情报服务的数据，识别与列入黑名单的 IP、URL 和域的恶意通信。
• 监控广泛使用的公共云平台，包括 Amazon Web Services (AWS)、Microsoft Azure 和 Salesforce。
• 监控 Windows 文件服务器、NetApp 文件服务器、EMC 文件服务器、Linux 等中的文件和文件夹创建、删除、修改和权限更改。
• 实时监控和审核关键的 Active Directory 更改。

5.17、LOGalyze

5.17.1、简介

LOGalyze是一款面向企业用户的开源日志分析器和网络监控工具。该产品支持具有实时事件检测功能的设备，Windows主机和Linux / Unix服务器。收集日志数据后，可以使用程序的搜索功能查找所需的信息。

5.17.2、效果图

5.17.3、LOGalyze 特点

用户还可以定义自己的警报。提出警报后，可以创建故障单以记录问题，直到问题得到解决。还有一些预定报告形式的文档，可以使用它们查看有关网络状态的定期更新。报告符合PCI-DSS，SOX等。

作为一种低成本替代方案，LOGalyze提供了日志监控体验，可以胜任此列表中的任何专有工具。该工具特别适合寻求经济实惠的日志管理解决方案的小型企业。

5.18、SolarWinds Log & Event Manager

5.18.1、简介

SolarWinds 是网络监控领域的通用名称。它的旗舰产品称为 Network Performance Monitor，是可用的最佳 SNMP 监控工具之一。该公司还以其众多免费工具而闻名，例如高级子网计算器或免费 SFTP 服务器。

谈到 SIEM，SolarWinds 的产品是 SolarWinds Security Event Manager。该工具以前称为 SolarWinds Log & Event Manager，最好将其描述为入门级 SIEM 工具。然而，它是市场上最好的入门级系统之一。该工具几乎具有您对 SIEM 系统的所有期望。这包括出色的日志管理和关联功能以及令人印象深刻的报告引擎。

免费试用： SolarWinds 安全事件管理器
官方下载链接： https://www.solarwinds.com/security-event-manager/registration

5.18.2、效果图

5.18.3、SolarWinds Log & Event Manager 特点

该工具还拥有出色的事件响应功能，无可挑剔。例如，详细的实时响应系统将积极应对每一个威胁。由于它基于行为而非签名，因此您可以免受未知或未来的威胁和零日攻击。

除了令人印象深刻的功能集之外，SolarWinds Security Event Manager 的仪表板可能是它最好的资产。凭借其简单的设计，您可以轻松找到使用该工具的方法并快速识别异常情况。

5.18.4、SolarWinds Log & Event Manager 价格

该工具的起价约为 4500 美元，物超所值。
如果您想试用它并了解它在您的环境中如何工作，可以下载功能齐全的免费 30 天试用版。

5.19、PRTG Network Monitor

5.19.1、简介

PRTG Network Monitor是一个网络监控平台，包括Windows事件日志传感器和Syslog接收传感器。Windows事件日志传感器监控Windows系统和应用日志文件，并显示日志消息的速率。该系统日志接收传感器记录的由设备在网络中发送的每秒系统日志文件的数量和过滤。过滤器是可自定义的，因此可以确定哪些活动将触发警报。

5.19.2、效果图

5.19.3、PRTG Network Monitor 特点

PRTG Network Monitor提供的通知系统具有高度可定制性。可以确定是否要通过电子邮件，短信或推送通知来接收。警报选项范围意味着你几乎可以在任何设备上从PRTG接收网络性能更新。

5.19.4、PRTG Network Monitor 价格

它的免费版本最多支持100个传感器，之后你必须使用付费版本。
它也提供30天的免费试用。

5.19.5、服务对象

• 1、带宽：确定您的设备和应用程序正在使用多少带宽并确定瓶颈的来源。
• 2、数据库：使用单独配置的PRTG传感器和SQL查询监控数据库中的特定数据集。
• 3、应用：管理您的所有应用程序并获取有关您网络中运行的每个应用程序的详细统计信息。
• 4、云：从任何地方集中监控和管理您的所有云计算服务。
• 5、服务器：实时监控所有类型的服务器的可用性、可访问性、容量和整体可靠性。
• 6、局域网：跟踪您的整个本地网络，包括您的工作站、路由器、交换机、服务器和打印机。
• 7、SNMP：使用PRTG的SNMP功能监控各种设备。

5.20、Papertrail

5.20.1、简介

Papertrail是Windows的日志分析器，可自动扫描日志数据。扫描日志数据时，可以选择希望扫描结果显示的信息。例如，可以选择扫描是否包含IP地址，电子邮件地址， GUID/UUID，HTTP(s)URL，域，主机，文件名和引用文本。

5.20.2、效果图

5.20.3、Papertrail 特点

Papertrail的一个重点是事件的解决。为了帮助你更快地找到安全事件的原因，可以按时间，来源或选择的自定义字段筛选日志事件。以这种方式过滤日志可以消除不相关的数据，并专注于最重要的数据。

Papertrail提供的另一种类似过滤选项允许你检测日志数据的趋势。可以按源，数据，严重性级别，工具或消息内容过滤事件。过滤后的搜索完成后，你将能够在屏幕底部查看结果图表。

Papertrail易于部署的日志分析器的理想选择。它提供免费的计划，允许你每月监控多达100 MB的数据。

5.21、XpoLog

5.21.1、简介

XpoLog可以通过网络收集和分析来自设备的日志。XpoLog实时监控日志以发现性能问题并创建警报。用户可以定义警报规则并实施自己的过滤规则。

5.21.2、效果图

5.21.3、XpoLog 特点

XpoLog能脱颖而出的一个特点是它的AI驱动的错误检测。AI可以发现错误，安全风险，并区分表明性能不佳的日志模式。错误检测用于自动化日志管理，并确保你不会错过任何有问题的活动。但是，如果想仔细查看，可以使用自动日志搜索功能在运行手动搜索时查看。

5.21.4、XpoLog 价格

XpoLog的价格取决于你需要的用户数，保留数和数据量。Basic版本是免费的，每天支持1GB，5天数据保留。

5.22、EventTracker

5.22.1、简介

流行的网络监控工具WhatsUp Gold背后的团队IpSwitch也有一个名为EventTracker的日志管理解决方案。EventTracker可以收集和分析Windows事件，Syslog和W3C/IIS日志文件中的日志数据。该程序可以实时检测安全事件。EventTracker的实时日志分析功能使其成为事件检测和响应的理想选择。

5.22.2、效果图

5.22.3、EventTracker 特点

实时事件警报为日志活动提供了额外的可见性。有提供数百种不同的警报外的开箱与EventTracker。警报包括取证分析，以便你在对安全事件的解决方案进行故障排除时可以使用其他数据。

为了让团队了解事件日志的发展，EventTracker会自动将报告分发给关键员工，经理和相关者。报告符合HIPAA，Sarbanes，OXLEY，PCI DSS，NISPOM，MiFID和FISMA。有超过1500种不同的报告供选择。使用这些报告中的信息有助于确定网络中是否存在需要解决的漏洞。

如果你正在寻找易于使用的Windows日志管理解决方案，那么EventTracker值得试试。