数据中转枢纽
近年来流行的存储,搜索,流处理,时序等高性价比分布式系统因为目标单一,构建各自独立的工作流来采集每种类型的数据再导入到各自的专用系统显然不切实际,利用Kafka 作为数据中转枢纽,同份数据可以被导入到不同专用系统中。
方案优势
高容量存储
可在商业硬件上存储高容量的数据,可横向扩展的分布式系统
一对多消费模型
发布/订阅模型,支持同份数据集能同时被消费多次发布/订阅模型,支持同份数据集能同时被消费多次
同时支持实时和批处理
本地数据持久以及PageCache,在无性能损耗的情况下能同时传送消息到实时和批处理消费者