Flink 大规模作业调度性能优化
本文作者洪志龙(柏星)& 朱翥(长耕),分享了如何在 Flink 1.13 版本和 1.14 版本中对 Flink 调度大规模作业的性能进行了优化。主要内容包括: 性能测评结果 基于拓扑结构的优化 优化任务部署 针对 Pipelined Region 构建的优化 随着 Flink 流批一体架构不断演
flink
未读
Flink中的数据抽象及数据交换过程
Flink的数据抽象 MemorySegment Flink作为一个高效的流框架,为了避免JVM的固有缺陷(java对象存储密度低,FGC影响吞吐和响应等),必然走上自主管理内存的道路。
Apache Flink的内存管理简介
JVM: JAVA本身提供了垃圾回收机制来实现内存管理 现今的GC(如Java和.NET)使用分代收集(generation collection),依照对象存活时间的长短使用不同的垃圾收集算法,以达到最好的收集性能。 以Java为例,整个Java堆可以切割成为三个部分:
flink
未读
Flink滑动窗口原理与细粒度滑动窗口的性能问题
场景描述:Flink的窗口机制是其底层核心之一,也是高效流处理的关键。Flink窗口分配的基类是WindowAssigner抽象类,下面的类图示出了Flink能够提供的所有窗口类型。 Flink窗口分为滚动(tumbling)、滑动(sliding)和会话(session)窗口三大类,本文要说的是滑