介绍:Flume是一个分布式、高可用、高可靠的海量日志采集、聚合和传输的系统,最初Flume是一个分布式、高可用、高可靠的海量日志采集、聚合和传输的系统,最初由Cloudera开发并现在广泛应用于数据采集流式处理。其设计目标是支持从各种数据源收集数据,包括本地文件(spooling directory source)、实时日志(taildir、exec)、REST消息、Thift、Avro、Syslog、Kafka等,并将这些数据发送到各种数据接收方,如HDFS、HBase、Kafka等。
为了满足不同业务需求,Flume提供了强大的可定制性。例如,用户可以定制数据收集方式,支持从固定目录下采集日志信息到目的地,提供实时采集日志信息的能力,以及支持多个Flume对接并合并数据。此外,Flume还具有事件驱动的特性,可以对数据进行简单处理。
总的来说,Flume因其高效、可靠和可定制的特性,已经成为了一个广泛应用的数据收集工具。
网址:https://juejin.cn/post/7033425096257568799?share_token=f55ea38e-76bb-449d-bf16-002ea9d47e0a
网址:https://www.bookstack.cn/read/flumeUserGuideCnDoc-1.8/spilt.3.flume.md
1、【尚硅谷】大数据技术之Flume教程从入门到实战
网址:https://www.bilibili.com/video/BV1wf4y1G7EQ/?spm_id_from=333.337.search-card.all.click
以上就是个人觉得不错的学习网站,希望能帮到学习大数据的人!