• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

标签:partition

互联网

瞄一眼clickhouse(附 go demo) 24小时内最新

瞄一眼clickhouse(附 go demo)
有个朋友业务需要存大量的流水数据, 还希望可以实时根据流水聚合统计, 需求计算的精度到小数点18位(Es和Doris就可以直接ps了), 正好可以看看很火的clickhouse 不看不知道, 一看吓一跳, 查询速度是真快啊, 数据压缩也是香了一匹, 运维再也不怕磁盘报警了! ……继续阅读 »

diligentman 15小时前 2浏览 0个赞

开发技术

幂等性

幂等性
1、幂等性是什么2、Kafka的幂等性(1)在生产者生产消息时,如果出现retry,有可能会一条消息被重复发送了多次,如果Kafka不具备幂等性就可能会在partition中保存多条一模一样的消息。 ……继续阅读 »

开发技术 1天前 5浏览 0个赞

开发技术

Kafka中的重要概念

Kafka中的重要概念
Broker:Kafka服务器进程,生产者、消费者都要连接broker。一个集群由多个broker组成,功能实现Kafka集群的负载均衡、容错。 Producer:生产者。 Consumer:消费者。 Topic:主题。一个Kafka集群中,可以包含多个topic,一个topic可以包含多个分区。Topic是一个逻辑结构,生产、消费消息都需要指定topic……继续阅读 »

开发技术 1天前 1浏览 0个赞

开发技术

Flink Kafka source源码解读

Flink Kafka source源码解读
Flink 提供了专门的 Kafka 连接器,向 Kafka topic 中读取或者写入数据。Flink Kafka Consumer 集成了 Flink 的 Checkpoint 机制,可提供 exactly-once 的处理语义。为此,Flink 并不完全依赖于跟踪 Kafka 消费组的偏移量,而是在内部跟踪和检查偏移量。本文内容较长,可以关注收藏。 ……继续阅读 »

开发技术 2天前 1浏览 0个赞