flume

kafka和flume都是日志系统，kafka是分布式消息中间件，自带存储；flume每一部分都是可以定制。kafka更合适做日志缓存，flume数据采集部分做的很好，可以定制很多数据源，减少开发量。 kafka 和 flume 都是日志系统，kafka 是分布式消息中间件，自带存储，提供 push 和 pull 存取数据功能。flume 分为 agent（数据采集器）...

Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统,日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称,泛指文件、操作记录等许多数据。 一、Flume基础知识 1、数据流模型 　 Flume的核心是把数据从数据源收集过来,再送到目的地。为了保证输送一定成功,在送到目的地之前,会先缓存数据,待数据真正到达目的地后,删除自己缓存的数据。 　...

Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。具有高可用，分布式，配置工具，其设计的原理也是基于将数据流。 Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume 具有高可用，分布式，配置工具...