程序员笔记

首页

数据结构

DataWarehouse

DataLake

Plusar

元数据

Alluxio

数据存储

linux

yarn

Hive

flink

bigdata

jvm

Java

hadoop

kafka

默认分类

kafka 未读

Kafka副本机制

一、Kafka集群 Kafka 使用 Zookeeper 来维护集群成员 (brokers) 的信息。每个 broker 都有一个唯一标识 broker.id，用于标识自己在集群中的身份，可以在配置文件 server.properties 中进行配置，或者由程序自动生成。下面是 Kafka brok

2021-12-25

flink 未读

Flink结合Kafka实现端到端的一致性语义

本次分享来自阿里巴巴的工程师在Apache Kafka x Apache Flink·北京会议上的分享，关于Apache Flink结合Apache Kafka实现端到端的一致性语义的原理。 2017年12月Apache Flink社区发布了1.4版本。该版本正式引入了一个里程碑式的功能：两阶段提交

精确一致性 2021-12-25

flink 未读

Flink CEP:复杂事件处理

0. 本文概述简介 FlinkCEP是在Flink之上实现的复杂事件处理（CEP）库。它允许你在×××的事件流中检测事件模式，让你有机会掌握数据中重要的事项。本文描述了Flink CEP中可用的API调用。首先介绍Pattern API，它允许你指定要在流中检测的模式，然后介绍如何检测匹配事件

CEP 2021-12-19

flink 未读

Flink DataStream的八种物理分区逻辑

https://mp.weixin.qq.com/s/d_jzHb-b7LEGNz1CN34zMg Spark的RDD有分区的概念，Flink的DataStream同样也有，只不过没有RDD那么显式而已。Flink通过流分区器StreamPartitioner来控制DataStream中的元素往下游

2021-12-18

flink 未读

基于Flink快速开发实时TopN

TopN 是统计报表和大屏非常常见的功能，主要用来实时计算排行榜。流式的TopN可以使业务方在内存中按照某个统计指标（如出现次数）计算排名并快速出发出更新后的排行榜。 flink支持各种各样的流数据接口作为数据的数据源，本次demo我们采用内置的socketTextStream作为数据数据源。 St

2021-12-11

kafka 未读

Kafka生产者

一、生产者发送消息的过程首先介绍一下 Kafka 生产者发送消息的过程： Kafka 会将发送消息包装为 ProducerRecord 对象， ProducerRecord 对象包含了目标主题和要发送的内容，同时还可以指定键和分区。在发送 ProducerRecord 对象前，生产者会先把键和值对

2021-12-11

kafka 未读

Kafka消费者

一、消费者和消费者群组在 Kafka 中，消费者通常是消费者群组的一部分，多个消费者群组共同读取同一个主题时，彼此之间互不影响。Kafka 之所以要引入消费者群组这个概念是因为 Kafka 消费者经常会做一些高延迟的操作，比如把数据写到数据库或 HDFS ，或者进行耗时的计算，在这些情况下，单个消

kafka-consumer 2021-12-05

未读

JVM—垃圾收集器与内存分配策略

总结JVM中常见的垃圾回收算法。

GC 2021-12-02

bigdata 未读

Impala 和 Kudu

来神策数据后，开始接触到Kudu和Impala两个组件，这两者的结合主要是受到 vertica 提出的 wos 和 ros 概念影响，即写优化（write optimized store）和读优化（read optimized store）,这一技术架构本质上就是一种数据的混合存储模型： da

impala kudu 2021-11-28